Situado dentro del término municipal de Alfauir, el Castillo de Palma consta de dos recintos fortificados de forma rectangular.
El castillo de Palma se encuentra al este del núcleo urbano, en lo alto de una elevación a 233 metros sobre el nivel del mar. Su emplazamiento asegura un amplio control visual; condición determinante para la ubicación de un “hisn” andalusí y un castillo cristiano. Desde el castillo se divisa al norte, las sierras de Falconera y Marxuquera, así como la planicie donde se ubica el monasterio de San Jerónimo de Cotalba, en el sur los castillos de Vilallonga y del Rebollet, al oeste los castillos de Borró y Vilella. El mejor acceso al castillo es desde Ador, por el camino de la Pedrera, que conduce hasta la cantera de extracción de arcillas existente en la ladera de la montaña donde se alza. El acceso más fácil es por la parte sur.
El recinto exterior ocupa una superficie de 1438 m2 y la muralla es de tapial. Los diversos fragmentos documentados presentan grosores diferentes, que oscilan entre 0,60 y 1,25m. En la muralla septentrional, el módulo de tapial es bastante homogéneo, con una distancia entre líneas de aguja de 0,90 m. En su interior no se detecta ninguna estructura.
El recinto superior está situado en el ángulo nordeste de la albacara y cierra una superficie de 592 m2. En la parte septentrional, el lienzo se encuentra reforzado por dos torres: una de planta circular, con fábrica de mampostería, en mal estado de conservación y otra construida con técnica de tapial. El único acceso al interior de este recinto se encuentra en el interior de la torre rectangular. Entre las torres existen vestigios de un aljibe de planta rectangular (4 × 8,50m.) Y construido en tapial.
El pacto entre el alcaide del Castillo de Bairén y Jaume I, en 1239, determinó la rendición de los castillos de su entorno. Entre ellos, del Castillo de Palma, que pasaría a formar parte de las posesiones reales, así como las alquerías de Palma, Ador y Navessa.
El castillo de Palma sería utilizado como moneda de cambio y aval de deudas reales, asimismo, su propiedad experimentaría numerosos cambios. La vegetación que cubre la montaña donde se ubica cambia según la orientación. En la solana, parcialmente cubierta con cultivo, la vegetación es densa y de matorral bajo. Los cultivos de esta vertiente son el olivo, el almendro y los algarrobos. En la umbría la vegetación es más variada, aunque predomina un denso pinar.