Presenta vestigis des de l’edat del bronze, passant per l’època romana fins l’establiment dels sarraïns.
El Castell de Rebollet es troba a 1,5 km al sud-est de la Font d’en Carròs, en direcció cap a la veïna Oliva. De la carretera que uneix les dues localitats parteix un empinat camí asfaltat que arriba fins als peus de les muralles. La fortalesa s’ubicava, dominant la costa i la zona que vigilava, sobre un tossal allargat a 150 m d’altitud. El seu nom sembla provenir de l’existència als seus voltants d’un poblat, hui desaparegut, anomenat Rebollet, Reboylén o Rebola.
La Font d’en Carròs i el castell estigueren sota el domini islàmic fins que en 1239 va ser conquistat per Pere Ximen Carròs, almirall de l’Armada Catalana i Mallorquina. El Rei Jaume I el 1240 va concedir el castell i les terres a En Carroç (en Carròs) qui el va fortificar i construir una església en el recinte.
El castell va ser ocupat i destruït en 1364 per les tropes castellanes del rei Pere en el transcurs de les Guerres de la Unió. Recuperat pels aragonesos, fou reedificat pel seu llavors propietari, Berenguer de Vilaragut, en 1368.
El desembre de 1598 un fort terratrémol va assolar la zona, demolits bona part de les estructures de la fortalesa, que des d’aleshores va quedar totalment abandonada.
El conjunt, format per dos recintes defensius, presenta també dues fases constructives diferents: una islàmica, de la qual queden poques restes localitzades sobretot en el recinte superior, i una altra cristiana que es correspondria amb les reformes efectuades després de la Conquesta Cristiana i les Guerres amb Castella i que són les que millor han sobreviscut. L’entrada a la fortalesa és per una porta que s’obri a l’extrem oest. Adossada a trams de muralla fets de tapial, dels que s’han conservat 67 metres, s’alça la torre de l’homenatge, quadrangular i construïda a base de maçoneria i maó amb reforços de carreus a les cantonades. Aquesta torre sembla datar del s. XV, quan el castell tenia ja un caràcter residencial i devia tenir tres plantes i coberta de volta sobre la qual es disposaria el pas de ronda emmerletada.
Enganxat a l’interior de l’extrem nord de la muralla trobem un aljub que es cobria amb volta hui enderrocada. Al seu costat hi ha una torre que defensa un accés secundari. També queden restes d’altres torrasses que reforçaven el recinte i que semblen de factura cristiana posterior. Malgrat que el castell es troba actualment abandonat i en ruïnes, queden del mateix suficients estructures en peu per a fer recomanable la seua visita.