Construido a finales del siglo XIV o principios del XV alrededor de una iglesia gótica de mediados del siglo XIII, de la que sólo se conservan el ábside y los restos de la nave, y sobre los restos de una fortificación templaria anterior, consta de una muralla exterior con cubos circulares y de un recinto interior en el que se encuentran la iglesia, un edificio renacentista de dos plantas, del siglo XVI, con un bello patio, además del aljibe y pasadizos subterráneos adintelados y abovedados.

La edificación muestra características típicas tanto de fortaleza militar como de residencia palaciega, como era común en los castillos señoriales del siglo XV. El castillo está construido en granito y tiene una planta cuadrada de 51 metros de lado^, con cuatro torreones circulares de unos 16 metros de altura,  una en cada esquina, algunas almenadas y una torre del homenaje rectangular, de cuatro plantas, junto a la entrada principal, de 26 metros de altura. El patio de armas aparecía rodeado de dependencias varias: cuadras, almacenes, cocinas, estancias de los servidores; la planta alta estaba destinada a residencia de la nobleza. Tiene puertas y ventanas de arco apuntado, de medio punto y escarzano, así como matacanes.

Construido por Beltrán de la Cueva entre 1462 y 1474, es atribuido al arquitecto Juan Guas, aunque la portada de acceso se construyó en el siglo XVI al eliminar el foso y el puente levadizo. Situado en un otero en el que ya existía una fortaleza anterior, consta de dos recintos de forma cuadrada con cubos circulares en las esquinas. El interior, en muy mal estado, se conservan un patio central porticado entorno al que estaban la capilla y las habitaciones de residencia y de la servidumbre. Las torres están abovedadas y en la del homenaje había pisos desmontables de madera, para impedir el acceso de los asaltantes por el interior de la torre.

También llamado castillo de Manqueospese, con origen en una fortaleza anterior, del siglo XI o el XII, ocupada por caballeros de Ávila y totalmente renovado en el siglo XV se asienta sobre unos peñascales, adoptando las formas de las rocas. La fortaleza consta de dos recintos defensivos, de los que el exterior consta de una bella puerta renacentista situada entre dos torres, mientras en el interior, de mucho mayor altura, se concentran las dependencias principales del castillo:  patio de armas, caballerizas, torre del homenaje, un ala que contenía salones y cocinas,…  Todo ello adobado con una hermosa leyenda de amores desgraciados que además relaciona el castillo con la batalla de Las Navas de Tolosa.