La población de Peñarroya de Tastavins surgió al raiz del castillo árabe, situado en lo ato de la población en el cerro denominado «La Moleta». El lugar fue reconquistado por Alfonso II, y donado a la orden de Calatraba en 1170. En 1280 ya le pertenecía la iglesia por decisión de la mitra zaragozana. Pedro IV concedió al lugar el título de villa en 1327 y en 1356 el mismo rey escribió a los calatravos y a los oficiales de Peñarroya confirmando la posesión del lugar. Desde 1361, por concesión de Pedro IV, tenía la villa Miguel Sánchez y desde 1370 García López de Sessé. En las guerras carlistas del siglo XIX, en 1840, fue conquistado por el general Espartero tras asedio .
Sus restos se asientan sobre la cumbre del cerro de la Moleta, un enclave privilegiado que lo hacía casi inexpugnable. Era de gran extensión y ocupaba la casi totalidad de la cumbre, conserva una parte del amurallamiento exterior que nace sobre el mismo borde de las peñas aunque está muy rebajado en altura. Su obra es de mampostería y argamasa y en uno de sus lados menores conserva restos de un torreón que debía estar reforzado con sillar en sus esquinas. En su interior se aprecian los basamentos de otro recinto de planta redondeada junto a un paredón de tapial. Algunos de estos restos podrían datar de la época de las guerras carlistas.