De estilo renacentista, este palacio se terminó de construir a comienzos del s. XVII por orden de Don Diego González de Castejón y Vinuesa, regidor de Soria y Ágreda. Está situado entre el barrio de San Miguel y el barrio árabe.        

Está compuesto por dos plantas de sótano, antiguamente utilizadas como mazmorras, dos plantas palaciegas, un patio de columnas y dos torres hermanas. La escalera que da acceso a la galería superior, se encuentra cubierta por una magnífica cúpula de estilo florentino. El edificio fue restaurado en 1980 y actualmente acoge varios servicios municipales.

El palacio cuenta además, con dos espacios ajardinados: uno de ellos de estilo renacentista, en el que destacan los parterres de nudos, un jardín de hierbas y un teatro vegetal. El segundo está inspirado en un jardín barroco. En 2007 recibieron el premio a mejor jardín histórico, otorgado por la sociedad de amigos del Real Jardín Botánico de Madrid.