Huesa del Común y su castillo fueron tomados por el Cid en el 1082, aunque poco después fueron recuperados por los musulmanes. De nuevo en 1120 su castillo fue conquistado por Alfonso I, pero a su muerte se volvió a perder, hasta su toma definitiva por los señores de Belchite, bajo los auspicios de Ramón Berenguer IV.
Por poco tiempo la población pasó a manos templarias antes de volver a la Corona, que nombraba a los alcaides del castillo, lo que se mantuvo hasta 1702. En 1838 el castillo fue ocupado por Cabrera durante las guerras carlistas, adaptándalo a las armas de la época.
El castillo se asienta en la cumbre de un espolón rocoso, sobre la población en una posición estratégica. Los restos se componen básicamente de dos torres cuadradas situadas cada una en los extremos Este y Oeste de la roca separadas por unos 30 metros. La occidental presenta gran altura por lo que quizá pudo ser la Torre del Homenaje. La oriental conserva los arranques de la bóveda de crucería de ladrillo a diferencia de todo el resto, de mampostería. Se conservan otros muros que serían dependencias o murallas exteriores.
A un nivel inferior y en el camino que conduce a la fortaleza, se encuentran los restos de una torre cuadrada de sillería y puerta en arco, que haría las funciones de albarrana.
