Muy poco se conoce de los restos de este castillo ribagorzano, perdido sobre una montaña al noreste de Tolva. Se reducen a dos muros de esquina, uno provisto de saeteras. Según fuentes históricas pertenecía al conde Sástago, es decir, a la familia Alagón que entonces había reunido por matrimonio la extensa baronía de Castro, por lo que podemos deducir que la Millera estaba incluido dentro de esta histórica baronía, cuyos orígenes remontan a un hijo de Jaime I. Aunque las primeras noticias ciertas sobre este edificio datan del 1211, su origen debe ser más antiguo.
El castillo de la Millera es una fortificación sobre un promontorio rocoso con grandes cortados que alcanza los 55 por 30 metros de eje norte sur así como un grupo circular de 14 metros de diámetro. Se observa al sureste un muro de mampostería con dos aspilleras. Se ha recojido cerámica gris muy corriente en el siglo XVI.
