El lugar llamado Ares fue la fortaleza más avanzada de las que defendían durante el siglo XII el señorío independiente de Albarracín en su frontera con el reino de Aragón, frente a las de Peracense, Ródenas y Alba. Tras la toma del señorío autónomo, por Alfonso III en 1284, el lugar perteneció a la Comunidad de aldeas de Albarracín, sesma de Bronchales, por lo que siempre fue de realengo, aunque el castillo no tuvo alcaides permanentes. En 1711 pertenecía al corregimiento de Albarracín y en tiempos de la I República era un señorío privado del marqués de la Florida, que tras la desamortización, repartió tierras entre los habitantes del poblado, que desapareció poco después para trasladarse al actual Pozondón.
Las ruinas del castillo de Ares se alzan a 2 kilómetros de la población por pista rural, sobre una plataforma rocosa. Se compone de dos recintos fortificados situados a distinto nivel y formados por muros de piedra rojiza muy irregular, muy similar a la del castillo de Peracense. En el recinto inferior se conservan las ruinas de algunos torreones circulares que defendían las esquinas, de construcción más robusta que el muro.
La entrada principal se orienta hacia el este con acceso entre las peñas, formada por un arco apuntado pero sólo se conserva el arranque en uno de los lados; estaba defendida desde un lado por una torre semicircular y por el otro, por un requiebro del muro con troneras. En el recinto superior quedan restos de una torre semicircular de cierta altura, conocida como «el Buco».