Bis zur byzantinischen Zeit war die moderne Stadt Rethymnon ein kleines und unbedeutendes Dorf. Diese Siedlung wurde von den Arabern leicht besetzt, wurde aber erst während der venezianischen Besatzung eine Stadt. Die Venezianer befassten sich hauptsächlich mit dem maritimen Handel, so dass sie einen Hafen zwischen Chania und Heraklion brauchten, um ihre Galeeren zu stoppen und an den Küsten von Nordkreta zu laufen. Aus diesem Grund verwandelten sie die kleine Bucht von Mandraki, östlich des felsigen Hügels von Fortezza, zu einem funktionalen Hafen.
Die Stadt Rethymnon begann sich um diesen Hafen zu entwickeln. Die Venezianer definierten Rethymnon als das regionale Verwaltungszentrum und die Hauptstadt der Präfektur Rethymnon. Diese neue Stadt wurde überwiegend von griechischen Adligen bewohnt, im Gegensatz zu Chania und Heraklion. Im Jahre 1583 waren die Venezianer über Griechen-Verhältnis etwa 1/3. So war Rethymnon eine Stadt mit hohem sozialen Status.
Die Venezianer konnten diese Stadt nicht wehrlos verlassen. Die Stadt wurde seit 1303 befestigt, aber die Mauern waren nicht in der Lage, die Stadt Rethymno während der schrecklichen Invasion der Piraten Barbarossa im Jahre 1538 zu schützen. Unmittelbar nach dem Angriff, im Jahre 1540, wurde die Stadt mit Mauern aus dem renommierten venezianischen Militärs von dem Ingenieur Michel Sammicheli befestigt.
Die Befestigung bestand aus 12 dicken Mauern in einer geraden Linie, beginnend vom östlichen Sandstrand, wo sich die Bastion von Sabionera oder Santa Barbara befand und in der Nähe des Strandes von Koumbes endete und an einem tiefen Graben vorbeifuhr. Es gab zwei weitere Tore an den Wänden, nämlich das Große Tor (Porta Guora), das auch heute noch auf der Ethnikis Antistaseos Strasse ist, und das Tor von Porta dello squero gegenüber dem aktuellen Zentralpark von Rethymno.
Die Mauer wurde durch zwei Bastionen, Agia Paraskevi Bastion und Kallergis Bastion im Westen gestärkt. Ein weiteres Tor wurde später neben der Kallergis-Bastion, dem Agios Athanasios-Tor, geöffnet.
Aber trotzdem war diese Befestigung schwach und unvollständig, weil es keinen Wandschutz auf der Seite des Meeres gab. In der Tat, als Olouts Ali Rethymno im Jahre 1567 aus dem Meer angriff, gelang es ihm, es völlig zu zerstören. So erwiesen sich die Wände als nutzlos und wurden völlig aufgegeben. Deshalb beschlossen die Venezianer, Rethymnon zu schützen, indem sie die beeindruckende Festung Fortezza auf dem Hügel Palaiokastro bauten.
