A finales del XVI don Diego González de Castejón y Vinuesa, regidor de Soria y Ágreda, decide construir en esta villa una nueva residencia para cumplir la voluntad de su padre, quien deseaba levantar un palacio digno de albergar a reyes y nobles a su paso por Ágreda. El resultado es el Palacio y los Jardines que hoy se pueden contemplar. Es uno de los pocos casos de palacios con jardines construidos en Soria durante el S.XVI, teniendo en cuenta que incluso en Castilla y León son contados los ejemplos.

El espacio ajardinado da como resultado dos magníficas zonas ajardinadas:

El Jardín Renacentista de D. Diego González de Castejón: Trazado conforme a los modelos de la “Divina Proporción” tiene un contenido protagonizado por parterres de nudos, plantas aromáticas, burlas de agua, y un teatro vegetal.

El Jardín de la Memoria: Un espacio más suave inspirado en el Jardín Barroco que sucedió al Renacentista. Diagonales y avenidas se organizan en una superficie que queda dividida en distintas plantaciones y que contará con distintos juguetes propios del periodo, como un reloj astronómico o un teatro de espejos.