Está situado muy cerca de la iglesia del Salvador, en el lugar más elevado de la villa, una roca natural que en su vertiente oriental forma un corte difícil de salvar.
Del castillo musulmán es imposible saber nada, puesto que nada ha quedado. Respecto de la fortificación cristiana, su historia hubo de comenzar en los tiempos iniciales de la reconquista, es decir, a principios del siglo X, cuando Sancho Garcés I tomó Luesia a los musulmanes. Entonces se debió de construir la primera fortaleza, de la que sin embargo tampoco ha quedado nada. Bernabé Cabañero y Fernando Galtier proponen que estaba formada por empalizadas y torres de madera y tapial sustentadas sobre vigas, emplazándose entonces sobre el corte de la roca, donde dice Galtier que todavía existen los huecos utilizados para calzar las vigas. Denominan a este tipo de construcciones castillos lígneos.
En 1014 Sancho el Mayor de Navarra donaría unum palacium in Luesia a los monjes del monasterio de San Juan de la Peña, suponiéndose que existió un segundo castillo y residencia de tipo palacial erigida por este monarca, aunque tampoco existen restos de aquella supuesta edificación. La torre que ha llegado hasta la actualidad pertenece al siglo XI, como indican Juan Francisco Esteban, Fernando Galtier y Manuel García Guatas, quienes lo incluyen entre los castillos realizados por el rey aragonés Sancho Ramírez, señalando que su construcción tuvo lugar entre 1070 y 1075, aunque Cristóbal Guitart lo cita entre los castillos de torre pentagonal fabricados en la segunda mitad del siglo XII. Así pues, el pentágono es la forma que desarrolla la torre luesiana por el exterior, siendo, no obstante, trapezoide por el interior. Se levanta en piedra de sillería y parece que tuvo en origen cuatro alturas, según se des-prende de los truecos usados para colocan las vigas, encontrándose la superior visiblemente desmochada. Se entraba e él por una portada en medio punto situada en el lienzo occidental, actualmente semienterrada entre los escombros; por encima de la cual hay un ventanal en medio punto. Han permanecido también los huecos en los que encajaron las vigas de una techumbre de madera a doble vertiente, que cubría una sala indeterminada.
Alrededor de la torre hubo un recinto murado que se mantuvo en pie hasta bien entrado el presente siglo, fecha en la que el ayuntamiento autorizó a los vecinos de Luesia para que recogieran piedra del castillo. Sin embargo, sólo se ha conservado parcialmente en el tramo que lo unía con la parroquial del Salvador, que probablemente formaba parte de la fortificación cristiana. A la izquierda de la iglesia del Salvador estaba la puerta que daba entrada a todo el recinto militar, conservada medio en ruinas. Se trata de un arco ligeramente apuntado, claramente posterior a la torre, que luce sobre él un escudo de armas de D. Hernando de Aragón. Está acompañado de una inscripción que Abbad Ríos llegó a leer y en la actualidad resulta prácticamente imposible hacerlo, al haberse partido en dos mitades la pieza de piedra que la contenía, y al encontrarse una de ellas semienterrada en el suelo.
TALLER DE EMPLEO "ALMUDÉVAR PATRIMONIO" 