Este castillo o torre es conocido desde el año 1101 pero, aunque no tenemos noticias ciertas, su fundación fue seguramente anterior y se atribuye a Sancho el Mayor. A mediados del siglo XI Ramiro I fundó el monasterio de San Juan de Pano, que debió tener gran importancia en el sistema defensivo. Fue lugar de realengo hasta que en el siglo XIII Jaime I vendió el castillo a los monjes de San Victorián.
El castillo consta de una muralla con tres cubos rectangulares de escaso desarrollo y, adosado a ésta, un torreón circular. Ambos elementos parecen haber sido construidos en distintas épocas. Está realizado mediante un sillarejo de formas cúbicas bien labrado. La superficie fortificada se asienta al borde de un espolón rocoso, en el cual subsisten los restos de una torre algo rebajada en altura, aunque todavía su desarrollo vertical es importante. Su fábrica es de sillarejo bien trabajado, grande en las hiladas inferiores y menudo en las superiores, siendo un aparejo típico de los primeros baluartes medievales cristianos de principios del siglo XI. La torre es de planta circular de aproximadamente 8 metros de altura, con 3 metros de diametro interno y 2,45 de grosor mural que hacen 7,50 m2 de interior.
También quedan algunos restos del recinto amurallado que lo defendía, aunque parece que la torre es de obra posterior a la muralla, ya que para su construcción se rompió el recinto. La muralla que lo protege se ciñe al borde del precipicio y se ve reforzada por cuatro cubos a modo de contrafuertes. Los muros presentan aberturas que pudieran ser desagües o bien conductos de lanzamiento ya que son demasiados para ser considerados evacuadores. Otros similares se observan en Abizanda, Loarre y Fantova. En el interior, las únicas señales de edificaciones son el hueco de una posible dependencia de forma rectangular y los restos de otras edificaciones posteriores.
La muralla pudo ser construida en 1050 y la torre en 1060.
Unos metros al Sur de la torre quedan las ruinas de la iglesia románica que data posiblemente del siglo XII. Es de planta rectangular, de nave única y con ábside semicircular en el que se abre una ventana. El acceso está en el muro Norte mirando al interior del espacio fortificado. La bóveda está hundida.