L'antichissimo castello dell'ottavo secolo si ergeva sulla cima della rocca di San Vito, posizione strategica dove è probabilmente esistito un presidio militare bizantino e poi arabo. La zona su cui sorgeva il castello è chiamata Arcaria, da archi, in quanto il muro del lato sud-est era costruito su delle strutture arcuate, ora demolite con quanto restava della struttura. I resti sono purtroppo scarsi e dei tre ingressi, solo uno è ancora visibile e permetteva di accedere alla chiesa Matrice Vecchia, tutt'ora presente, attraverso una galleria formata da diversi archi a sesto acuto. I resti di alcune assi in legno lasciano supporre l'esistenza di un ponte levatoio.