Antigua torre almohade de vigilancia, recibe este nombre por su tamaño y su ubicación en el barrio alto de la población, conocido popularmente como ‘El Castell.’
Debió ser edificada en el siglo XII, y en todo caso durante algún momento de la ocupación almohade entre 1172 y la Reconquista. Posiblemente de ella deriva el nombre de la población y constituye su símbolo más representativo.
Construida a base de tapial, tras la Reconquista perdió su función de vigilancia convirtiéndose en casa de señorío. En 1989 sus últimos propietarios, los Rovira de Xixona, la cedieron al Ayuntamiento.
Ha sufrido numerosas modificaciones y reformas a lo largo de su historia, y el edificio que ha llegado hasta nosotros en un sólido cubo con pequeñas ventanas y cubierta de tejas a dos aguas, parte de la cual se ha desmoronado, manteniéndose el resto en relativas buenas condiciones.