El castillo de Miravet fue conquistado de forma pasajera en 1058 por el conde Ramón Bernguer I durante su incursión por tierras musulmanas al Sur del condado de Ribagorza, donándolo a uno de sus caballeros para que lo reconstruyera. Volvió a manos islámicas en fecha incierta, siendo más tarde reconquistado por Arnaldo Mir de Tost en 1063 y el castillo reconstruido pocos años después. Aunque la localidad estuvo comprendida en los límites establecidos por Jaime II cuando creó el condado de Ribagorza, fue de señorío independiente.
Sus ruinas están localizadas sobre la cumbre de una colina rocosa, situada a tres kilómetros de la población en dirección a Estopiñán, en una zona de difícil acceso y oculta entre los montes. Quedan en pie algunos restos de una torre asentada sobre una gran roca, con la base de sus muros cubriendo parte de la misma. Era de planta rectangular, de unos 8 por 5 metros de lado. Estaba defendida por un pequeño recinto fortificado del que quedan algunos restos de sus muros, apenas reconocibles y ocultos entre la maleza.
En los inicios del siglo XIII se construyó una iglesia románica junto al castillo dedicada a San Jaime. En la actualidad ha perdido uno de sus lados mayores y la cubierta, conserva el ábside semicircular y un pórtico apuntado de época posterior.