Fue construido por la familia Bellvís en los siglos XIV-XV pasando después a Frances Aguiló de Romeu. Más tarde en el 1449 pasó a la familia Borja, concretamente a Juan de Borja, hijo de el papa Alejandro VI pasando pues al Ducado de Gandía hasta en fin de 1669. Los Borja fueron reformándolo hasta darle un carácter más residencial. Los restos del palacio y parte de la fachada han sido recientemente restaurados junto a la parte del patio donde se encuentran los depósitos, los calabozos y las antiguas caballerizas.