Una referencia documental en 1259 nos da a entender que la torre fue edificada por los habitantes musulmanes de Carrícola y Muntis con técnicas hispanomusulmanes de encajonado de tapia, pero ya con el patrón constructivo propio de una fortaleza feudal, con su patio y la torre del homenaje. La iniciativa fue del caballero catalán Ramon de Timor, que recibió estos lugares de moros de manos del rey Jaime I en forma de señoría feudal. El Castell de Carrícola pasa a lo largo de los siglos en manos de diferentes propietarios. El año 1296 el señorío de Carrícola fue integrado a la baronía de Albaida. Tiempo después, el Cardenal Juan de Milán y Aragò se trasladaría al nuevo palacio a la parte baja del pueblo.