Une petite garnison y opérait pendant la révolte des mudéjars menée par al-Azraq.
Il est situé sur un grand rocher arrondi à 142 mètres d’altitude, à environ deux kilomètres au nord-ouest de la ville, surplombant le stratégique Col de Latón, entre la chaîne de montagnes du Benicadell et celle du Cuta, à quelques mètres de la municipalité de Llutxent, dans la région de la vallée d’Albaida. Il est facile de passer par ce col depuis la Vall d’Albaida dans le Safor, d’où la présence de la fortification.
Peu de documents ont survécu jusqu’à nos jours qui parlent de Vilella, le plus important est la mention dans Llibre dels Fets del rei Jaume I,(Le Livre des faits de Jacques Ier d’Aragon), où il est expliqué que ce château était lié au château de Bairén, dont il dépendait avant la conquête chrétienne. Peu après, dans la seconde moitié du XIIIe siècle, elle est mentionnée par Bazzana et Guichart, et l’on sait qu’une petite garnison y opérait pendant la révolte mudéjare menée par Al-Azraq.
Avec la pacification du territoire, le château est laissé entre les domaines seigneuriaux de Llutxent et de Palma, perdant ainsi sa fonction et son intérêt stratégique et militaire qu’il avait eu aux premiers moments de la conquête féodale. Le Castell de Vilella fut ainsi abandonné pour toujours.
Les caractéristiques de construction de cette forteresse et d’autres preuves archéologiques nous amènent à penser qu’il s’agissait d’un château refuge andalou, probablement construit dans les derniers moments de la domination musulmane sur ces terres, à la fin du XIIe siècle ou au début du XIIIe siècle.
Le Castell de Vilella présente une enceinte de dimensions moyenne, d’une superficie de 2 038 m2, avec une structure simple composée de segments rectilignes qui définissent un espace intérieur.
La structure générale présente une forme allongée avec une orientation dominante est-ouest, formé par un mur épais qui atteint sept mètres de hauteur à certains endroits. L’entrée de l’enceinte est située sur le côté nord, sur la pente. Cette entrée est formée par une tour rectangulaire d’environ quatre mètres de haut, avec deux portes opposées pour rendre l’accès plus difficile.
En direction de l’est, le mur n’est plus que de quelques mètres, car une grande partie de son tracé a disparu dans les secteurs est et sud-est, précisément dans la partie la plus haute et la plus abrupte du rocher où se dresse le château.
La partie nord-ouest de la fortification est définie par de grands murs en terre battue d’environ 1,20 m d’épaisseur qui se poursuivent jusqu’à la tour d’entrée. A l’extrémité ouest de l’enceinte, accolée au mur d’enceinte, se trouve une structure rectangulaire avec deux portes, l’une au sud et l’autre à l’est, et deux meurtrières ouvertes à l’ouest, passage obligé pour accéder au château. Cet espace pourrait avoir constitué une tour défensive dont la fonction aurait été de contrôler l’accès.