Το φρούριο των Σφακίων (Castel di Sfacia or Sfachia) βρισκόταν στο λόφο Καστέλι, στην ανατολική άκρη της Χώρας Σφακίων και ήταν το τελευταίο που έκτισαν οι Ενετοί στην Κρήτη. Οικοδομήθηκε τον 15ο-16ο αιώνα πάνω σε Βυζαντινό «φρουρίδιο». Για πρώτη φορά αναφέρεται σε έγγραφα το 1526. Οι πληροφορίες για το φρούριο είναι πολύ φτωχές. Ήταν πολύ μικρό, μ’ένα μόνο πύργο και η φρουρά του αποτελούνταν από 15 άντρες, με τον επικεφαλής τους που λεγόταν Καπουλέτος.
Με το φρούριο αυτό συνδέεται το περιστατικό της «Χρυσομαλλούσας»: Ο αξιωματικός της φρουράς συνάντησε μια πεντάμορφη χρυσομαλλούσα κόρη στη βρύση του χωριού, που ήταν η Χρυσή Σκορδύλη. Γοητεύτηκε από τη λυγερή κορμοστασιά και το αγγελικό πρόσωπό της, και τη φίλησε. Η κοπέλα προσβλήθηκε και τον ράπισε δυνατά στο πρόσωπο. Ο ιππότης τότε εξοργίστηκε και με το σπαθί του της έκοψε τα μαλλιά και κατέφυγε στο φρούριο. Εκείνη έβαλε τα κλάμματα, καλώντας τους δικούς της κοντά της. Αυτοί αμέσως έτρεξαν στο φρούριο σκότωσαν τον Καπουλέτο και όλη τη φρουρά, ενώ κατέστεψαν ολοσχερώς το φρούριο. Επακολούθησε σύρραξη μεταξύ των Σφακιανών και των Ενετών, που κράτησε 1.5 χρόνο (1320-1321). Τους Σφακιανούς βοήθησε ο τότε Αυτοκράτορας του Βυζαντίου Ανδρόνικος.
Κατά την Τουρκοκρατία, οι κατακτητές προσπάθησαν να ανακαινίσουν το φρούριο, αλλά οι Σφακιανοί δεν τους το επέτρεψαν. Μόλις το έκτιζαν, εκείνοι το γκρέμιζαν, με αποτέλεσμα σήμερα σώζονται ελάχιστα ερείπια στο μέσα στο μικρό πευκόδασος του λόφου Καστέλι.
Το φρούριο στο Περιβολάκι Λουτρού
Ένα δεύτερο ενετικό φρούριο ήταν κτισμένο στο σημείο που είναι σήμερα κτισμένο το εκκλησάκι του Τιμίου Σταυρού στο Περιβολάκι, ανάμεσα στα Γλυκά Νερά και στο Λουτρό. Η κατασκευή του είναι προσαρμοσμένη στην έντονη κλίση του εδάφους, κι ένα τμήμα του είναι ημικυκλικό. Φαίνεται να διαδραμάτισε σημαντικό ρόλο στην περιοχή, αλλά καταστράφηκε και σήμερα υπάρχουν ελάχιστα ερείπια του.