Los restos del Castillo de Ayerbe están sobre una montaña de difícil acceso que domina la Hoya, muy cerca de la iglesia de San Miguel, con ábside semicircular, románico sin decorar. Se llega a través de una pista que rodea el monte por su lado occidental.
El castillo fue fundado por los musulmanes en los inicios del siglo XI y conquistado por Sancho Ramírez en 1083. Poco después el rey donó al monasterio de San Juan de la Peña la mitad de los bienes señoriales y otros derechos del castillo y puso su gobernación en manos de tenentes, situación que perduró quince años.
A partir de 1099 pasó a propiedad de los monjes del monasterio de Montearagón por donación de Pedro I. En su poder se encontraba en 1267 cuando Jaime I lo recuperó al instituir la baronía de Ayerbe en favor de su hijo natural Pedro. El hijo de éste cambió la villa y castillo por el señorío de Paternoy en 1329 y desde entonces perteneció a la reina Leonor y a su hijo Fernando, a quien se lo quitó Pedro IV y lo mandó ejecutar por haberle traicionado. Posteriormente, la baronía fue vendida a Pedro Jordán de Urriés, y en su poder estaba cuando en 1396 fue asediado por las tropas del conde de Foix en su intento de invadir el reino de Aragón.
Su planta es de grandes dimensiones y esta reforzada por torres angulares y muros de los cuales hoy quedan escasos restos de la fachada principal, del recinto que lo protegía en forma de cubo, la mayor parte de la obra conservada corresponde al siglo XIV.
En su interior no se observan restos de edificios solo un aljibe y algunos muros muy rebajados. Estaba protegido por un doble recinto fortificado. Del recinto superior quedan algunos paredones de considerable altura y longitud perforados por aspilleras, producto de alguna reconstrucción posterior y del inferior apenas se ven algunos vestigios sobre la falda del monte.
