Erla ya existía en 1092 pues su iglesia aparece en los documentos al ser donada por Sancho Ramírez al monasterio de San Juan de la Peña. En el siglo XVI pertenecía a los Luna y afirma Labaña en 1610 que era de Martín Sancho del Castellar. En los años veinte del pasado siglo la familia Ena realizó profundas modificaciones en el palacio, dándole la apariencia actual.
Se trata de una construcción señorial de gran empaque y aspecto medieval, que debe mucho a las reformas realizadas en los años veinte del pasado siglo. Se compone de un cuerpo de planta rectangular más una torre de planta cuadrada adosado al mismo. Esta torre sería el elemento de construcción más antiguo y a ella se añadiría el palacio en tiempos posteriores. La fachada del edificio palacial se articula en tres pisos, el inferior con saeteras de gran longitud, el mediano con un balcón que se cierra con una artística reja y el superior con la típica logia de arcos. Su remate es almenado y con terraza. La puerta de acceso abre en arco de medio punto con columnas en las jambas.
La torre es de planta cuadrada y destaca en altura sobre el resto del edificio. Esta se organiza interiormente en cinco pisos, estando rematada por almenas.
