Τα φρούρια που οι Ενετοί ίδρυσαν στην νότια Κρήτη ήταν πολύ λίγα, ίσως επειδή τα παράλια της είναι άκολπα και αλίμενα. Ένα από αυτά πάντως ήταν το φρούριο του Σελίνου στη Παλαιόχωρα. Το φρούριο αυτό είχε κτισθεί στο λαιμό μιας στρογγυλής προεξοχής της στεριάς μέσα στη θάλασσα με στόχο την εδραίωση της ενετικής επικυριαρχίας στην περιοχή, που κατοικείτο από τον ασυμβίβαστο Κρητικό λαό.
Ήταν περίπου τετράγωνο με πολλές ομοιότητες με κείνα της Ιεράπετρας και του Μιραμπέλου. Ήταν εφοδιασμένο με δύο πύργους στη νότια πλευρά κι ένα στη βόρεια, σε μια εξοχή στο άκρο ενός τοξοειδούς τείχους. Είχε, όπως όλα τα φρούρια, χώρους στρατωνισμού, κατοικίες αξιωματούχων, μικρή εκκλησία και δεξαμενές νερού. Στόχος των δύο νότων πύργων ήταν να ελέγξουν τους δύο όρμους δεξιά κι αριστερά της στεριανής προεξοχής. Οι δύο αυτοί πύργοι φαίνονται ακόμη και σήμερα στα χαλάσματα του φρουρίου.
Στην επανάσταση των Χορτάτζηδων (1272), που είχε γνήσιο εθνικό χαρακτήρα κι ήταν η πρώτη μεγάλη επανάσταση κατά των Ενετών, το Σέλινο δεν εννοούσε να ησυχάσει και μετά την κατάπνιξή της σ’ όλη την άλλη Κρήτη. Ο τότε δούκας της Κρήτης, Marino Gradonigo, έκτισε το φρούριο το 1282 και το ονόμασε «Σέλινο». Οι επαναστάτες όμως το κατέλαβαν και το κατεδάφισαν. Μα οι κατακτητές το ξανάκτισαν το 1334, οπότε και σχηματίστηκε γύρω από αυτό ο βούργος, από τον οποίο προήλθε η σημερινή Παλαιόχωρα. Η ονομασία του προέρχεται πιθανόν από το φυτό σέληνο, που λένε πως αφθονεί στην περιοχή. Από το όνομα του φρουρίου πήρε το όνομα της και η καστελλανία του κι, αργότερα, η επαρχία που ως τότε ονομαζόταν Ορεινά ή Ορνά.
Αργότερα, ο οικισμός διαλύθηκε και το φρούριο καταστράφηκε. Η Παλαιόχωρα εμφανίστηκε ως οικισμός με αραξοβόλι μετά το 1866, λόγω της ανάγκης της εμπορικής επικοινωνίας της με τις διάφορες αγορές των προϊόντων της, αφού οδικώς δεν ήταν εύκολο να μεταφερθούν αυτά μέχρι τα Χανιά. Στην Επανάσταση του 1332, ο Βάρδας Καλλέργης κατέλαβε το κτίριο και σκότωσε τον καστελάνο του Ερμόλαο Βελένιο, την οικογένεια του και όλη τη φρουρά. Το 1539, ο πειρατής Μπαρμπαρόσα ανάγκασε την φρουρά του Σελίνου να κρυφτεί στη δεξαμενή του νερού. Το 1583, το φρούριο είχε 261 κατοίκους.
Το φρούριο επισκευάστηκε ξανά, αλλά δεν απέκτησε ποτέ την πρώτη του αξία. Εγκαταλείφθηκε αργότερα λόγω των φθορών που είχε υποστεί από σεισμούς και τη βροχή, μέχρι που γκρεμίσθηκε. Το 1595 ο ρετούρης (Ενετός νομάρχης) των Χανίων Benetto Dolfin το αναστήλωσε. Οκτώ χρόνια μετά την κατάληψη των Χανίων από τους Οθωμανούς(1653), οι νέοι κατακτητές το πολιόρκησαν από τη θάλασσα και από τη στεριά, ώσπου το κατέλαβαν. Ύστερα το κατεδάφισαν ξανά, για να το ξαναφτιάξουν αργότερα. Σήμερα από το φρούριο σώζονται μερικά μόνο ερείπια, που τα περισσότερα ανήκουν στην Οθωμανική περίοδο.
Μνημείο Βλιθιά
Σε έναν λόφο δίπλα στο χωριό Βλιθιάς Σελίνου, πολύ κοντά στην Παλαιόχωρα, μπορεί κάποιος ακόμη να διακρίνει τα ερείπια ενός πολύ παλιού φρουρίου. Το φρούριο, που ονομάζεται Μνημείο, αρχικά θεωρούνταν αρχαίος τάφος, αλλά οι επιστήμονες τείνουν στο συμπέρασμα ότι είναι ένα αρχαίο κάστρο με Κυκλώπεια τείχη και κυκλικό λατρευτικό οικοδόμημα μέσα σε αυτό.