Το επιβλητικό φρούριο που εποπτεύει την πόλη του Ρεθύμνου από τον βραχώδη λόφο του Παλαιόκαστρου, είναι η Φορτέτσα.
Πιθανότατα πριν την μεσαιωνική Φορτέτσα στον χώρο αυτό υπήρχε στα αρχαία χρόνια η ακρόπολη της αρχαίας Ρίθυμνας και ο ναός της Ροκκαίας Αρτέμιδος.
Το φρούριο που σώζεται ως σήμερα άρχισε να χτίζεται προφανώς για οχυρωματικούς λόγους, δύο χρόνια μετά την καταστροφή της πόλης από την πειρατική επιδρομή του Ουλούτζ Αλή (1571). Κάπως έτσι, υπό τον Ρέκτορα Alvise Lando, με πρωτομάστορα τον Γιάννη Σκορδίλη και σε σχέδια του Sforza Palavicini, το 1580 μετά από 76.800 αγγαρείες κατοίκων όλου του νομού ολοκληρώθηκαν οι εργασίες αφήνοντας πίσω τους ένα φρούριο σε σχήμα ακανόνιστο πολυγωνικό, με τέσσερεις προμαχώνες και τρεις αιχμές.
Αποδείχτηκε βέβαια ότι η Φορτέτσα είχε μειωμένα αμυντικά αποτελέσματα και λόγω έλλειψης τάφρου, και γιατί ήταν εκτεθειμένη από την πλευρά των υψωμάτων του Αγίου Αθανασίου, αλλά και γιατί η περιοχή νότια της ήταν κτισμένη.
Παρόλα αυτά η εσωτερική της πολεοδομική οργάνωση ήταν υποδειγματική. Στο κέντρο βρισκόταν η πλατεία με τον καθεδρικό ναό του Αγίου Νικολάου (που επί τουρκοκρατίας μετατράπηκε σε Ιμπραήμ Χαν Τζαμί και προστέθηκε μιναρές και θόλος), και την κατοικία του Ρέκτορα.
Τμήμα του συγκροτήματος αυτού (κατοικία του Ρέκτορα) σώζεται μέχρι σήμερα αλλά ελάχιστα προδίδει για την μεγαλοπρέπεια του: σύμφωνα με τα έγγραφα της εποχής ήταν διώροφο, είχε 49 πόρτες, 81 παράθυρα, δύο σκάλες και εξώστες και χτίστηκε στα πρότυπα των αναγεννησιακών palazzo.
Στον χώρο της Φορτέτσας υπήρχαν επίσης δύο πυριτιδαποθήκες, στρατηγικά τοποθετημένες στην βόρεια, ασφαλή πλευρά όπου τα τείχη ήταν ενισχυμένα. Υπήρχαν επίσης αρκετές δεξαμενές, η κατοικία των Συμβούλων, το (πιθανό) Επισκοπείο, αποθήκες, άλλοι δύο ναοί (Αγία Αικατερίνη και Άγιος Θεόδωρος) αλλά και ιδιωτικές κατοικίες. H κεντρική πύλη βρισκόταν ανατολικά, ανάμεσα στους προμαχώνες του Αγίου Λουκά και του Αγίου Νικολάου. Στην εξωτερική πλευρά της μεγάλης στοάς της πύλης υπάρχει το Λιοντάρι του Αγίου Μάρκου, ένα από τα πέντε που κοσμούσαν συνολικά το φρούριο.
Η Φορτέτσα έπεσε άδοξα στους Τούρκους κατακτητές στις 4 Νοεμβρίου του 1646. Σήμερα σώζονται μόνο κάποια ερείπια από τα περισσότερα ενετικά κτίσματα, τα τείχη, οι δεξαμενές και το τζαμί (ναός Αγίου Νικολάου), καθώς όσα είχαν μείνει όρθια καταστράφηκαν από τους Γερμανούς που τοποθέτησαν πυροβόλα στην βορειοανατολική πλευρά του φρουρίου αλλά και οδήγησαν εδώ πολλούς ομήρους.
Σήμερα η Φορτέτσα συνεχίζει να εποπτεύει από ψηλά την πόλη και τις ακτές της και φιλοξενεί στο Θέατρο Ερωφίλη κάθε καλοκαίρι τα σημαντικότερα πολιτιστικά γεγονότα της πόλης.
