Στην αρχή του δυτικού λιμενοβραχίονα του Ηρακλειώτικου λιμανιού στέκει ακόμη επιβλητικό το μεσαιωνικό φρούριο Κούλες. Το αρχικό του όνομα είναι Rocca al Mare, δηλαδή Φρούριο της Θάλασσας, όπως το ονόμασαν οι ιδρυτές του Ενετοί. Ο Μεγάλος Κούλες όπως τον έλεγαν, δεν ήταν ο μοναδικός άρχοντας του λιμανιού. Απέναντι του, στη σημερινή Μαρίνα, υπήρχε μέχρι τις αρχές του 20ου αιώνα ένα δεύτερο μικρότερο φρούριο, ο μικρός Κούλες, το οποίο γκρεμίστηκε για να φτιαχτεί νεότερη αποβάθρα στο σημερινό λιμάνι. Ο Κούλες είναι κτισμένος στη θέση ενός άλλου στρογγυλού πύργου με επάλξεις.
Ας δούμε όμως την εξέλιξη του φρουρίου, ως κτίριο κι ως παράγοντα διαμόρφωσης των ιστορικών γεγονότων. Είναι γνωστό ότι στη Μινωική εποχή η Κρήτη δεν διέτρεχε καμιά απειλή από εξωτερικούς εχθρούς, άρα δεν υπήρχε η ανάγκη οχύρωσης των λιμανιών της. Η ίδια κατάσταση επικρατούσε ως τη ρωμαϊκή εποχή και τη Α Βυζαντινή περίοδο. Η κατάσταση αυτή άρχισε να ανατρέπεται όταν εμφανίστηκαν στη Μεσόγειο οι πειρατές. Έτσι, έκτοτε γεννήθηκε η ανάγκη οχύρωσης των πόλεων και των λιμανιών τους. Αυτό όμως δεν έγινε στον βαθμό που έπρεπε από τους Βυζαντινούς, οι οποίοι ήταν απασχολημένοι με τα εσωτερικά προβλήματα και τον κίνδυνο των Οθωμανών. Έτσι η Κρήτη σύντομα (824 μ.Χ.) έπεσε στα χέρια των Αράβων, οι οποίοι λεηλάτησαν και κατέστρεψαν τα φρούρια.
Οι Άραβες οχύρωσαν το Ηράκλειο με τείχος και τράφο και το κατέστησαν κέντρο των πειρατικών τους επιδρομών. Το Ηράκλειο ονομάστηκε τότε Χάνδακας. Μετά από πολλές αποτυχημένες προσπάθειες, οι Βυζαντινοί επανέκτησαν τον Χάνδακα με τον Νικηφόρο Φωκά το 961, ενώ μετά από 250 χρόνια το Ηράκλειο κατακτήθηκε από τους Γενουάτες και μετά από λίγα χρόνια από τους Ενετούς. Οι νέοι κατακτητές έφτιαξαν νέα τείχη, τα οποία ήταν επιβλητικά και ο Χάνδακας ονομάστηκε Μεγάλο Κάστρο. Για τη μεγαλύτερη ασφάλεια του λιμανιού, κατασκεύασαν το περίφημο φρούριο Rocca al Mare. Αυτό ήταν αρχικά ο μικρός πύργος που αναφέραμε προηγουμένως.
Γρήγορα όμως οι Ενετοί αντιλήφθηκαν ότι η οχύρωση του λιμανιού με τον πύργο ήταν άχρηστη, όταν ανακαλύφθηκε η πυρίτιδα και κατασκευάστηκαν τα τηλεβόλα όπλα. Έτσι αποφάσισαν την κατασκευή ενός νέου μεγαλύτερου φρουρίου, που θα ανταποκρινόταν στις ανάγκες τους. Εκτός από αυτά, το μικρό Καστέλι που υπήρχε ήδη είχε υποστεί μεγάλες ζημιές από σεισμό του 1303, οι οποίες δεν επισκευάστηκαν επαρκώς. Έτσι, το παλιό φρούριο κρίθηκε κατεδαφιστέο το 1500, με σκοπό να ανεγερθεί μεγαλύτερο στη θέση του. Η απόφαση πάρθηκε το 1523 από το αρμόδιο συμβούλιο, που το αποτελούσαν ο Δούκας Μάρκος Μίνιος, ο Καπιτάνος Θωμάς Μοτσενίγκος, ο μηχανικός Σαρακίνης κι ο Καπιτάνος του Πεζικού Ντακόμο. Η απόφαση εγκρίθηκε από τη Βενετία και αμέσως άρχισε η κατεδάφιση του παλιού και η ανέγερση του νέου.
Η κατασκευή ολοκληρώθηκε το 1540, ενώ το υπέρογκο κόστος της κατασκευής του βάρυνε τα ταμεία της Βενετίας και του Χάνδακα. Οι συνθήκες ανέγερσης δεν ήταν ευνοϊκές, καθώς τον χειμώνα οι εργασίες διακόπτονταν λόγω των τρικυμιών και των χαμηλών θερμοκρασιών. Επίσης, για τα θεμέλια και τα κρηπιδώματα χρησιμοποιήθηκαν οι ογκόλιθοι του Μινωικού λιμανιού, ενώ οι υπόλοιπες ποσότητες οικοδομικών υλικών μεταφέρθηκαν από τη νήσο Ντία και τον όρμο των Φρασκιών. Για να κατασκευαστούν οι προστατευτικοί κυματοθραύστες, φόρτωναν με λίθους παλιά καράβια και τα βύθιζαν στη θάλασσα.
Όταν το φρούριο τελείωσε, ήταν ένα αρχιτεκτονικό αριστούργημα, αλλά κι ένα σύγχρονο οχυρωματικό έργο, που σε συνεργασία με το φρούριο του Παλιόκαστρου, εξασφάλιζε την ασφάλεια ολόκληρου του Κόλπου του Ηρακλείου. Το φρούριο ήταν διώροφο. Το ισόγειο ήταν χωρισμένο σε 26 διαμερίσματα για διάφορες χρήσεις (αποθήκες τροφίμων, αποθήκες πολεμοφοδίων, δεξαμενές ομβρίων υδάτων και φυλακές). Όλα τα διαμερίσματα φωτίζονταν με μεγάλους φωταγωγούς, τα sospirali lucernai ή ανηφοράδες, από τη θολωτή στέγη. Στο φρούριο υπήρχε επίσης φούρνος, μύλος και μια μικρή εκκλησία.
Σήμερα το φρούριο είναι επισκέψιμο ως αρχαιολογικός χώρος και έχει υποστεί σημαντικές αναστηλωτικές παρεμβάσεις. Μέσα στο χώρο εκτίθενται ευρήματα από τις έρευνες του θρυλικού ωκεανογράφου Jacques-Yves Cousteau τη δεκαετία του 1970, με σημαντικότερα αυτά της υποναυαρχίδας La Therese του Γαλλικού Στόλου που βυθίστηκε στις 24 Ιουλίου 1669 και ουσιαστικά αποτέλεσε την τελευταία πράξη του Κρητικού Πολέμου, αλλά και από τρία Μινωικά ναυάγια της Ντίας. Επίσης υπάρχει πολύ καλά οργανωμένο πληροφοριακό υλικό για την ιστορία του φρουρίου, αλλά και του Ηρακλείου γενικότερα.
Στον όροφο υπήρχαν χώροι στρατωνισμού της φρουράς, ενώ στη βόρεια γωνία του ήταν ο φάρος. Στους τρεις τοίχους του κτιρίου (νότιο, βόρειο και ανατολικό), πάνω σε λευκό μάρμαρο υπήρχε το έμβλημα της Γαληνοτάτης Δημοκρατίας της Βενετίας, με τα φτερωτά λιοντάρια. Τα λιοντάρια υπάρχουν ακόμη και σήμερα, αλλά έχουν φθαρεί από το χρόνο και την αλμύρα. Ο Basilicata αναφέρει ότι στο ισόγειο ήταν τοποθετημένα 18 κανόνια, ενώ στις επάλξεις 25 και υπήρχαν 300 κιβώτια πυρίτιδα και 6144 μπάλες διαφόρων μεγεθών.
Το φρούριο είχε σκοπό την προστασία του ενετικού λιμανιού, που ήταν ο πολεμικός ναύσταθμός των Ενετών και ο κύριος εμπορευματικός σταθμός της Κρήτης. Στην αποβάθρα του λιμανιού, εκεί που σήμερα βρίσκεται η παραλιακή οδός και η Περιφέρεια Κρήτης, υπήρχαν τα νεώρια, τμήμα των οποίων σώζεται και σήμερα.
Παρόλη τη μεγάλη τέχνη και φροντίδα με την οποία κτίσθηκε, το φρούριο παρουσίαζε αρκετά προβλήματα και χρειαζόταν συνεχώς επισκευές. Αυτά οφείλοταν κυρίως στη διάβρωση των βόρειων τοίχων από τον βορρά. Οι επισκευές γινόταν ως το 1669, όταν και άλωσαν τον Χάνδακα οι Οθωμανοί οι οποίοι εξακολούθησαν να επισκευάζουν τον Κούλε, όπως ονόμασαν το φρούριο. Στο εσωτερικό του Κούλε έκτισαν επάλξεις και σκοπιές. Το 1719 τμήμα της βορειοδυτικής πλευράς του Κούλε κατέρρευσε από θαλασσοταραχή, αλλά επισκευάστηκε άμεσα με διάθεση χρημάτων από τον φόρο λαδιού 5000 «ασλανίων γροσιών».Mετά το 2000 έγινε η υποστήριξη στη νότια πλευρά του, καθώς η θάλασσα είχε δημιουργήσει υποθαλάσσια σπηλιά.
Στα σκοτεινά δωμάτια του Κούλε φυλακίζονταν οι επαναστάτες Κρητικοί. Εδώ φυλάκισαν οι Οθωμανοί τους 70 Σφακιανούς που έλαβαν μέρος στην επανάσταση του Δασκαλογιάννη το 1770, οι οποίο όμως απέδρασαν με τη βοήθεια του κρυπτοχριστιανού Μιχαήλ Κουρμούλη.