La villa ya existía en el año 921, bajo el reinado de Sancho I de Navarra, para la vigilancia de la frontera con Aragón. Tras su conquista por los Banu Qasi, fue recuperada por Sancho Garcés II en el 971. Lo habitaron ocasionalmente Sancho Ramírez y Alfonso I el Batallador aunque el avance hacia el sur de la frontera le hizo perder importancia. En esta fortaleza se reunieron en 1363, Pedro IV de Aragón, Carlos II de Navarra y Enrique de Trastámara para formar alianza contra Pedro I de Castilla, para situar al Trastámara en el trono de Castilla. Durante la guerra de Sucesión el castillo defendió a Felipe V, pero se rindió temporalmente a las tropas del archiduque de Austria en 1705. Participó en la guerra de la Independencia y fue destruido parcialmente por los carlistas por haber sido partidario de la reina Isabel II.
Se trata de un castillo con una extensión considerable que se asienta sobre la conocida como peña Ayllón que da nombre al castillo. El recinto tiene forma irregular ovalada de unos 115 por 75 metros siguendo el contorno de dicha peña. Los restos que han quedado de este castillo son el recinto amurallado, una torre, los restos de un edificio palacial con torre y los restos (mechinales) de un castillo lígneo en la misma peña.
El recinto amurallado se extiende por el borde de la roca y es de sillería, presentando algunas partes en donde ha perdido material, que ha sido recompuesto con cemento.
La torre, podría ser la del homenaje y dataría del siglo XII. Se encuentra en el interior del recinto apoyando directamente sobre la muralla. Es de planta cuadrada, de unos 10 metros de lado, y está construida con buenos sillares. Presenta remate almenado y vanos en sus muros, desde aspilleras a ventanales. Estaba estructurada en tres plantas provistas de sendas chimeneas.
El edificio palacial con torre, también está en el interior del recinto amurallado y construido en sillería. El primero es rectangular de 16 por 10 metros de lado y se estructuraba en dos plantas, la superior ya perdida. La inferior se ilumina con dos ventanales de importantes dimensiones con restos de tracería gótica y se cube con bóveda de crucería. La torre asociada, es muy esbelta, de planta octogonal y alberga en su interior una escalera de caracol. Sus muros presentan aspilleras y saeteras. Posiblemente fue construido todo el conjunto en el siglo XIV por Pedro IV.
En la roca en la que se asienta el castillo se conservan algunos mechinales de lo que se considera sería un castillo lígneo, similar al de Luesia, que podría datar de época visigoda, siglo VIII.
