Ένα από τα πιο μαγευτικά κομμάτια του Κατακόλου, που πρέπει οπωσδήποτε να επισκεφτείτε, είναι το κάστρο, γνωστό και ως Ποντικόκαστρο λόγω του σχήματός του. Το κάστρο, για την κατασκευή του οποίου χρησιμοποιήθηκαν τμήματα του τείχους της ακρόπολης της Φείας και απομεινάρια αρχαιοελληνικών κτισμάτων, χτίστηκε τη Βυζαντινή περίοδο από τους Βιλλεαρδουίνους και ανοικοδομήθηκε από τους Φράγκους στα μέσα του 13ου αιώνα, οι οποίοι και το ονόμασαν "Μπο Βουάρ" ή "Μπελ Βεντέρε". Σώζεται μόνο μέρος των οχυρώσεων, αφού στο παρελθόν το κάστρο γνώρισε πολλές καταστροφές, ιδιαίτερα την περίοδο της Τουρκοκρατίας.