Se trata de una fortaleza de origen musulmán que servía para vigilar el camino que discurría por el río Martín, desde Híjar a Montalbán. Una vez conquistada, desde el siglo XIII tuvo diversos señores, excepto un periodo en que fue de posesión real, entre el final del siglo XIII hasta comienzos del XV. Desde entonces fue estuvo en manos de particulares, como Antón de Luna, Berenguer de Bardají, los Bermúdez de Castro o los Rebolledo Palafox en el siglo XVIII.
Se trataría de un sistema defensivo compuesto por varias torres, no menos de siete, situadas sobre dos crestas rocosas que dominan el caserío situado en el valle. Estas son similares y están construidas en piedra y tapial, aunque en diferente estado de conservación. Sobre una de las crestas, la situada más al norte, se sitúan cinco torres bastante arruinadas, excepto una. En la otra, aparecen las otras dos, una de las cuales parece ser más grande y es de planta pentagonal; la otra es de planta cuadrada y conserva cierta altura. Todavía existía otra más, sobre el desfiladero del río y que era conocida como El Alcázar, pero se derrumbó hace pocos años.
