Allí había una pequeña guarnición operativa durante la revuelta mudéjar acaudillada por Al-Azraq.
Se encuentra sobre una gran peña redondeada de cota 142 metros a unos dos kilómetros al noroeste de la población, dominando el estratégico coll de Llautó (cuello de Latón), entre la sierra de Benicadell y la sierra de la Cuta, a pocos metros del término municipal de Llutxent, ya dentro de la comarca del Valle de Albaida. Por este referido collado se pasa fácilmente de la Vall d’Albaida a la Safor, de ahí la presencia de la fortificación.
Han llegado hasta nuestros días pocos documentos que hablan de Vilella; lo más importante sería la mención en el Libro de los Hechos del rey Jaume I, donde se explica que este castillo estaba vinculado al de Bairén, del que dependía antes de la conquista cristiana. Poco después, ya en la segunda mitad del siglo XIII, es nombrado por Bazzana y Guichart, por los que se sabe que allí había una pequeña guarnición operativa durante la revuelta mudéjar acaudillada por Al-Azraq.
Con la pacificación del territorio el castillo quedó entre los dominios señoriales de Llutxent y Palma, perdiendo su función e interés estratégico y militar que había tenido durante los primeros momentos de la conquista feudal. El castillo de Vilella quedó así abandonado para siempre.
Las características constructivas de esta fortaleza y otras evidencias arqueológicas nos permiten pensar que fue castillo refugio andalusí, alzado, seguramente, los últimos momentos del dominio musulmán de estas tierras, a finales del siglo XII o principios del XIII.
El castillo de Vilella presenta un recinto de dimensiones medianas, 2.038m2 de superficie, con una estructura sencilla formada por segmentos rectilíneos que definen un espacio interior.
La estructura general muestra una forma alargada de orientación dominante este-oeste, formada por un muro grueso que alcanza los siete metros de altura en algunos puntos. En la parte norte sobre la vertiente se encuentra el acceso al recinto. Esta entrada está formada por una torre rectangular de unos cuatro metros de altura, con dos puertas contrapuestas para dificultar el acceso.
En la dirección este, el muro se alarga sólo unos metros, habiendo desaparecido gran parte de su trazado en los sectores este y sureste, precisamente en la zona más alta y abrupta de la peña donde se asienta el castillo.
En la parte noroeste la fortificación aparece definida por unos grandes muros de tapia de un espesor aproximado de 1,20 m que continúan hasta la torre de entrada. Justo en ese extremo oeste del recinto adosado al muro perimetral se localiza una estructura de planta rectangular, con dos puertas una al sur y otra al este, y dos aspilleras abiertas al oeste, paso obligado para acceder al castillo. Este espacio podría haber constituido una torre defensiva que tendría por función controlar el acceso.