Il Castello di San Vigilio è sempre stato una struttura difensiva grazie alla posizione privilegiata che permette una perfetta visuale per gli avvistamenti. Venne inoltre creato un passaggio segreto da una torre ad una casamatta, oggi purtroppo inutilizzabile a causa di una frana. Si narra che intorno all’anno 889 il futuro re d’Italia Arnolfo di Carinzia decise di conquistare il castello a discapito di una piccola comunità religiosa che non riusciì a contrastare i militari Franchi. Col passare del tempo, sotto la dominazione della Repubblica di Venezia, il Castello assunse un ruolo di primo piano nella gestione della città.