Στη Χρυσέα των αρχαίων, τη σημερινή νήσο Χρυσή ή Γαϊδουρονήσι, έχει εντοπιστεί σημαντικός οικισμός της Μινωικής και Ρωμαϊκής περιόδου με κτίσματα και τουλάχιστον τρεις λαξευτούς τάφους κοντά στον ναό του Αγίου Νικολάου και στο φάρο του νησιού. Ο οικισμός χρησιμοποιήθηκε για την παραγωγή της πορφύρας από τα κοχύλια Murex brandaris, όπως και στο γειτονικό Κουφονήσι.
Ακόμη διακρίνονται τα υπολείμματα μεγάλων ορθογώνιων χωραφιών, πιθανά ρωμαϊκής εποχής, που είναι οριοθετημένα με πέτρινους τράφους. Επίσης διακρίνονται ίχνη λιμενικής εγκατάστασης και αρχαία αλυκή στη θέση του σημερινού λιμανιού του Σπήλιου. Ακόμη κι ο ναός του Αγίου Νικολάου είναι κτισμένος σε σημείο όπου διακρίνονται ίχνη από αρχαία κτίρια.
Στις αρχές των βυζαντινών χρόνων το νησί ήταν ησυχαστήριο ερημιτών, ενώ ακόμη και σήμερα διασώζονται σχετικά τοπωνύμια (Πελεγρίνα, Χατζή Βόλακας, κλπ).