Nos encontramos frente a una fortificación de época musulmana que aparece referenciada en el Libro de los Hechos, de Jaume I.
El castillo se encuentra en la cima de una peña de 240 metros de altitud rodeado por varias peñas, como son la peña Esclusa, al oeste, el Picayo, al nordeste, la Planícia el norte y el Alto de la Planícia al este. Por la parte este y oeste bajan dos barrancos llamados Blanco y del Atanassi respectivamente, que vierten en el río Vernissa, el cual se encuentra al sur del castillo.
Como los castillos de Vilella, Palma y Villalonga, Borró estará vinculado al de Bairén.
El recinto amurallado contaba con unos 3.700m2, y no parece que tras la conquista cristiana sufriera ningún cambio sustancial. Hoy en día aún podemos observar al final de la senda, que nos llevará hasta él, la primera torre redonda alzada en mampostería y con una gran aspillera apuntando hacia nosotros. En el lado norte de la torre y siguiendo hacia el este existe una gran y larga muralla, medio derruida, que suponemos que debió ser el único acceso al castillo.
Franqueando la entrada, en la parte este, se alza una torre cuadrada de dimensiones medias y otra muralla de un metro de anchura aproximadamente que continúa al este siguiendo el relieve y aprovechando el acantilado como defensa natural. Una torre hoy desaparecida, de la que son visibles los restos de la cimentación se encuentra en la parte este de la peña, simétricamente situada respecto a la otra torre redonda respecto al centro de la plataforma. En la parte central del recinto amurallado se encuentran unas construcciones hechas con tapial de una anchura menor, exceptuando el aljibe que posee muros anchos para evitar que el agua filtre.