Στην ανατολική μεριά του φαραγγιού του Ρούβα, ψηλά πάνω από το μοναστήρι του Αγίου Νικολάου, συναντάμε την τοποθεσία Καλύβες, όπου ασκήτευσαν τον 17ο αιώνα (περίπου το 1670) οι Όσιοι Ευθύμιος και ο Νικόλαος ο Κουρταλιώτης, που για κάποιους είναι το ίδιο πρόσωπο. Στο εσωτερικό του σπηλαιώδη ναού υπάρχουν μερικές τοιχογραφίες, ενώ υπάρχει επιγραφή με τον αριθμό 1432, που προφανώς δεν αφορά χρονολογία καθώς εκείνη την εποχή οι χρονολογίες γράφονταν με γράμματα.
Σύμφωνα με την παράδοση, ο όσιος Νικόλαος Κουρταλιώτης σκοτώθηκε από έναν κυνηγό που επιστράτευσαν οι μοναχές της μονής Αγίου Νικολάου, όταν τον είδαν ένα βράδι να περιφέρεται στα περιβόλια τους ντυμένος με προβιά ζώου, νομίζοντας πώς ήταν ζώο. Ο τραυματισμένος άγιος ζήτησε από τον κυνηγό να τον μεταφέρει στο σημείο που βρίσκεται σήμερα ο ναός του Οσίου Νικολάου στο φαράγγι του Κουρταλιώτη. Εκεί ο κυνηγός δίψασε και ο άγιος, με θαυματουργό τρόπο, άνοιξε τις σημερινές πηγές του Κουρταλιώτη για να ξεδιψάσει. Στο ίδιο σημείο τάφηκε, αλλά δεν έχει βρεθεί ο τάφος του.