Αν και οι παλαιότερες μαρτυρίες για τη μονή Αυγουστιανών μοναχών, ένα από τα πιο σημαντικά μοναστικά καθιδρύματα των Βενετών στο Ρέθυμνο, ανάγονται στο β’ μισό του 16ου αιώνα, εν τούτοις είναι σχεδόν βέβαιο ότι η μονή ιδρύθηκε σε αρκετά πρωιμότερη περίοδο. Σήμερα είναι γνωστό ως Νερατζέ Τζαμί.
Σύμφωνα με τα ενετικά σχεδιαγράμματα αλλά και τα ανασκαφικά δεδομένα είχε σχήμα ορθογώνιο με τα κελιά να διατάσσονται γύρω από το καθολικό της. Σήμερα σώζεται μόνο το καθολικό της, αλλοιωμένο όμως από τη μετατροπή του σε τζαμί, καθώς και ένα παρεκκλήσι στα δυτικά του. Η αρχική εκκλησία ήταν μια μονόκλιτη βασιλική με μεγάλα παράθυρα και δίρριχτη στέγη. Η κύρια είσοδος στη βόρεια πλευρά της αποτελεί ένα από τα πιο αξιόλογα αναγεννησιακά θυρώματα του Ρεθύμνου και αποτελεί παραλλαγή ενός σχεδίου του Ιταλό αρχιτέκτονα του 16ου αι. Sebastiano Serlio. Στα δυτικά της σώζεται ένα μικρό παρεκκλήσι που κτίστηκε το 1617 και αφιερώθηκε στο Corpus Cristi (Σώμα του Χριστού).
Μετά την κατάκτηση του Ρεθύμνου από τους Οθωμανούς ο Γαζί Ντελί Χουσεϊν Πασάς, ο κατακτητής του Ρεθύμνου και αρχιστράτηγος του οθωμανικού στρατού στην Κρήτη, ίδρυσε στην περιοχή ένα συγκρότημα που περιελάμβανε τέμενος, πτωχοκομείο, βιβλιοθήκη και ένα σχολείο. Στην πραγματικότητα ο Χουσεϊν Πασάς, το 1646, χρησιμοποίησε τα υφιστάμενα ενετικά κτίρια, μετατρέποντας το καθολικό της Παναγίας σε τέμενος, το παρεκκλήσι του Σώματος του Χριστού σε βιβλιοθήκη και το παρακείμενο καθολικό της Μονής των Φραγκισκανών μοναχών σε πτωχοκομείο. Στη δυτική πλευρά του τεμένους υψώθηκε το 1890-91 ο σωζόμενος μιναρές ύψους 33 περίπου μέτρων που φέρει δύο μπαλκόνια.
Το μνημείο που αναστηλώθηκε το 1986, ανήκει στο Σύλλογο Υπέρ Διαδόσεως Τεχνών και Επιστημών και χρησιμοποιείται σήμερα ως Ωδείο και χώρος εκδηλώσεων.