Es gilt als Werk von Francisco Gilabert de Centelles, Graf von Oliva.
Im 16. und 17. Jahrhundert war die Bevölkerung der valencianischen Küste verschiedenen Angriffen von türkischen und berberischen Gruppen ausgesetzt, die die Ernten verwüsteten und die Dörfer plünderten. Das bedeutete, dass sich die Städte von Montsó 1528 bereit erklärten, ein Küstenverteidigungssystem zu bauen und gleichzeitig eine Wache einzurichten. Mit der gleichen Absicht beauftragte König Felip II. 1575 den Vizekönig von Valencia, Vespasià Gonzaga i Colonna, mit der Durchführung einer Studie über die Verteidigung der Küste. In seinem Bericht heißt es zu den Befestigungsanlagen von Oliva: „Oliva es lugar mal cercado con cubillos antiguos. Y tiene morería no cercada. Dentro ay gente de lustre y castillo en el lugar, que es más casa llana. En lo alto sobre montecillo tiene otro castillo de poca substancia que de muro gruesso y nuevo es a manera de tabla cuadrada con dos cubos redondos en las dos esquinas. Tiene poco agua dentro, y aunque procuraron de tener pozo no llegaron donde era necessario, cosa es de poco fundamento; tiene algunas piezas de metal buenas del propio Señor y una media culebrina que a no estar sentida era muy gentil pieza y bien labrada; está un tercio de lengua de mar”.
Die Burg wurde dort gebaut, wo sich die Einsiedelei von Santa Ana befand, was vor der zweiten Hälfte des 16. Würfel fehlen die Türme und Brüstungen, der andere im Südosten ist fertig.
Santa Anna sowie die Umgestaltung der Stadtmauern und des Grafenpalastes werden als Werk von Francisco Gilabert de Centelles, Graf von Oliva, angesehen. Man geht davon aus, dass das Datum 1546, das auf der noch erhaltenen Inschrift aus el Palau steht, genau der Zeitpunkt ist, an dem der Bau abgeschlossen wurde.
Das Castell de Santa Anna befindet sich auf der Spitze des kalkhaltigen Vorgebirges, das ihm seinen Namen gibt. Im Süden schließt sie den Grundriss der mittelalterlichen und modernen Stadt ab, gewährleistet die Überwachung der Verkehrswege und ermöglicht einen perfekten Blick auf das Meer. Darüber hinaus bietet sie eine beträchtliche Kontrolle über einen großen Teil des Raval oder des maurischen Viertels, das zwischen der Stadtmauer mit dem Palau dels Comtes d’Oliva und der Burg selbst eingefasst war.
Es handelt sich um ein rechteckiges Bauwerk mit den Maßen 43,50 x 34,70 m, das durch zwei dicke Rundtürme verstärkt wird. Die Türme sind in zwei entgegengesetzte Richtungen ausgerichtet, einer nach Nordwesten, wo sich die Stadt befindet, und der andere nach Südosten, wo die Zufahrtsstraße und der Eingang zur Festung liegen.
Im Inneren der Festung ist in der Mitte des Hofes noch eine rechteckige Zisterne mit einem Tonnengewölbe und einem Ziegelwerk zu sehen. Obwohl diese Zisterne auf die Zeit der Errichtung des Gebäudes datiert werden kann, gehört ihr Dach zu einer späteren Periode, als eine Reparatur in der Mitte des 18. Jahrhunderts ihren Ersatz erforderte. Jahrhunderts ersetzt werden musste. Neben der Zisterne gibt es Spuren mehrerer Mauern, die auf die Existenz üblicher Konstruktionen für die Unterbringung der Wache oder von Schießpulverlagern hinweisen.
Im Inneren der Festung sind noch einige Mauern der Einsiedelei Santa Anna erhalten. Es handelt sich um eine neue Kapelle mit demselben Namen wie diejenige, die vor dem Bau der Burg existierte. Das rechteckige Gebäude hatte drei Schiffe: das zentrale mit einer Kuppel. Vor der Eingangstür befand sich eine nach Westen ausgerichtete Veranda. Einigen Autoren zufolge wurde es 1747 erbaut. (Quelle: C.Pérez-Olagüe)