La primera ocupació del lloc correspon a l’Edat de Bronze.
El castell es troba sobre un tallat del vessant llevantí del massís de les Tres Creus, als peus del qual es troba Tavernes. Se situa aproximadament a una cota de 250 metres sobre el nivell del mar, amb un ampli domini visual del litoral i del sector aquest de la Valldigna.
Malgrat l’error durant molts anys, que consideraven el Castell d’Alfàndec com si fos el de Marinyén a Benifairó, la lectura d’algunes donacions recollides en el llibre del Repartiment referides a la Valldigna obliguen a situar-lo a l’altre costat, sobre l’actual Tavernes, antiga alqueria andalusina anomenada Gebalcobra o Algeba.
Aquest castell que es correspon amb les restes de “Els Castellets”, malgrat haver estat utilitzat en època cristiana, probablement cap a finals dels segles XIV-XV, no va tenir la importància ni les reformes del castell de Marinyén.
Probablement els precedents medievals de la fortificació d’Alfàndec pertanyen als segles X-XI moment al que pertanyen alguns materials arqueològics que s’observen en superfície.
Està format per un recinte allargat amb escasses estructures. Ocupa un espai d’aproximadament 1500 m². Té l’entrada a la part meridional, extrem on es conserven els basaments d’una sèrie de murs de maçoneria que es disposen paral·lelament per dificultar l’accés. Al costat nord-est una torre cúbica construïda amb tapial de morter de calç d’uns 62 cm d’amplària defensarien aquest sector del recinte.
A l’oest es troben les parets verticals de la muntanya que defineixen aquest costat del recinte i servien de defensa natural. Al nord-oest hi ha un aljub rectangular amb capacitat per 17.700 litres, aproximadament, que ha perdut la seua cobertura.
Prop d’aquesta cisterna apareix una altra torre de característiques semblants a la primera, però més xicoteta, que tanca pel nord el castell, feta amb maçoneria a la base i tapial en la part superior. D’aquesta torre naix un mur rectilini d’uns set metres de longitud que tindria per funció dificultar l’accés d’una possible incursió enemiga.
Entre les dues torres s’observa encara el basament d’un llarg mur de maçoneria d’uns 70 metres que tancaria el recinte pel costat de llevant. A l’interior s’observen alguns basaments de murs que probablement corresponien a estructures d’habitació. Es conserven alguns grafits en àrab realitzats sobre la paret exterior de la torre major, realitzats sobre morter fresc, també es conserven a l’interior de la torre menor.
La primera ocupació del lloc correspon a l’Edat de Bronze, en un moment no determinat que es pot situar cap a mitjan segon mil·lenni abans de la nostra era. D’aquest assentament prehistòric, les úniques restes observades corresponen a uns pocs fragments de ceràmiques fetes a mà restes d’una ocupació poc important. Posteriorment es va ocupar en època ibera, de la qual també queden pocs vestigis. (C.Pérez-Olagüe)