Στη θέση του σημερινού Ρεθύμνου υπήρχε μικρός και ασήμαντος οικισμός από την εποχή της Πρωτοβυζαντινής Περιόδου. Ο οικισμός αυτός καταλήφθηκε από τους Άραβες, αλλά άρχισε να γίνεται πολιτεία μόνον κατά τη διάρκεια της Ενετοκρατίας. Οι Ενετοί, λαός θαλασσινός που ασχολούνταν κυρίως με το μεταπρατικό εμπόριο, χρειάζονταν ένα λιμάνι, έστω και μικρό, ενδιάμεσα στα Χανιά και το Ηράκλειο, για να καταφεύγουν σε αυτό οι γαλέρες τους, που περιέπλεαν τα βόρεια παράλια. Για το λόγο αυτό διασκεύασαν κατάλληλα τον μικρό όρμο Μανδράκι, ανατολικά από τον βραχώδη λόφο της του ακρωτηρίου, που σήμερα λέγεται Φορτέτσα.
Γύρω από αυτό το λιμάνι άρχισε να αναπτύσσεται με γοργούς ρυθμούς η πόλη, την οποία η Ενετοί έκαμαν διοικητικό κέντρο της περιοχής, έδρα του ρετούρη (νομάρχη). Στη νέα πόλη κατοίκησαν κυρίως Έλληνες, ώστε να έχει πιο έντονο το ελληνικό χρώμα από τα Χανιά και το Ηράκλειο. Το 1583 η αναλογία Ενετών και Ελλήνων ήταν 1 προς 3 περίπου. Οι περισσότεροι Έλληνες κάτοικοι της πόλης ήταν ευγενείς Αρχοντορωμαίοι. Έτσι το Ρέθυμνο ήταν μια πόλη υψηλής κοινωνικής στάθμης.
Αυτήν την πόλη, οι Ενετοί δεν ήταν δυνατόν να την αφήσουν ανοχύρωτη. Η οχύρωση της μάλιστα είχε ήδη γίνει, από το 1303, αλλά δεν ήταν ικανή να προστατεύσει το Ρέθυμνο από την επιδρομή του τρομερού Μπαρμπαρόσα το 1538. Έτσι, αμέσως μετά την επίθεση αυτή, η πόλη οχυρώθηκε πιο αποτελεσματικά, το 1540, με σχέδια του γνωστού στρατιωτικού αρχιμηχανικού των Ενετών Michel Sammicheli, τα οποία στη συνέχεια υπέστησαν σημαντικές τροποποιήσεις.
Η οχύρωση περιελάμβανε ένα τείχος πάχους 12 ποδιών σε ευθεία γραμμή, που ξεκινούσε από την άμμο της Ανατολικής παραλίας, όπου βρισκόταν ο προμαχώνας της Αμμουδιάς (Sabionera) ή της Αγίας Βαρβάρας, και συνέχιζε προς τη Δυτική παραλία του Κουμπέ, παράλληλα μιας τάφρου. Το τείχος είχε ακόμα δύο πύλες, τη Μεγάλη Πόρτα (Porta Guora), που σώζεται ακόμη και σήμερα στην αρχή της οδού Εθνικής Αντιστάσεως και τη Porta dello squero στη μέση του δυτικού τμήματος του μεσοπυργίου, απέναντι από το σημερινό Δημοτικό Κήπο. Το τείχος, επίσης, είχε ενισχυθεί με δύο ακόμη προμαχώνες, της Αγίας Παρασκευής στη Μεγάλη Πόρτα και του Καλλέργη στη δυτική άκρη του τείχους, όπου αργότερα ανοίχθηκε μια ακόμη πόρτα, του Αγίου Αθανασίου.
Αλλά και αυτή η οχύρωση ήταν αδύνατη και ελλιπής, γιατί δεν είχε τείχος από τη μεριά της θάλασσας. Έτσι, όταν ο Ολούτς Αλής επιτέθηκε εναντίον του Ρεθύμνου το 1567, το κατέστρεψε ολοσχερώς. Έτσι, αποδείχτηκε ότι το τείχος ήταν άχρηστο, γι’αυτό εγκαταλείφθηκε και κατερειπώθηκε. Τότε αποφασίστηκε να κτιστεί το εντυπωσιακό φρούριο της Φορτέτσας πάνω στο λόγο Παλαιόκαστρο, για να ασφαλιστεί η πόλη.
