Castillo-Palacio fortificado de origen medieval, ligado a la familia Zúñiga (Condes de Miranda). Reconstruido a principios del S.XIV sobre una fortaleza previa del S.XII que se cree que perteneció a la Orden de los Templarios y que en aquellos momentos se utilizaba con fines hospitalarios. Dispone de sus propias murallas entorno a su recinto de planta trapezoidal irregular y en sus esquinas destacan  los cubos cilíndricos en los que se abren ventanas geminadas. La Plaza Mayor actual era el antiguo patio de armas del castillo

Se encuentra orientado hacia el este y es uno de los mejor conservados de la provincia. Ha experimentado alguna remodelación a lo largo del tiempo como la de 1451 en la que se intervino en parte de su recinto coincidiendo con la señorialización de la villa. El interior del castillo es actualmente de propiedad privada tras la donación que realizó la Duquesa de Alba a la villa en 1954 que además como dato curioso ostentaba el título de Condesa de Miranda del Castañar