El castillo de San Esteban está situado sobre un promontorio rocoso desde el que se observa todo el valle del Isábena. Entre los años 964 y 972 era uno de los castillos defensores de la Ribagorza contra los musulmanes, posesión de Don Raimond, mientras que en 1020 pertenecía al conde Guillermo. Pere Gozpert era su tenente en 1118. En 1290 Alfonso III, ordenó a Pedro de Maytat, tenente del castillo en esa época que le entregase la potestad del mismo.
En la actualidad es un recinto alargado de muralla, se encuentran restos del edificio residencial del que queda uno de los lados, donde está la puerta de ingreso en arco apuntado y donde se pueden apreciar inscripcciones. En el interior quedan cuatro arcadas apuntadas, una de ellas perforada por un pequeño portillo a modo de hornacina.
Se conserva un torreón de planta rectangular atravesada por un pasadizo de arco apuntado unido a la ermita románica de la Virgen del Tozal. Esta torre sirvió de campanario a la iglesia, consagrada en el año 971. En el patio se pueden observar cámaras abovedadas que se utilizaron como graneros o despensas.
