Η παράδοση λέει πως οι Αθηναίοι μοναχοί Βαρνάβας και Σωφρόνιος έφτασαν το 386 στις απάτητες βουνοκορφές του Πόντου, ακολουθώντας την εικόνα της Παναγίας της Αθηνιώτισσας, που αποδίδεται στον Ευαγγελιστή Λουκά. Όλα άρχισαν από ένα κελί, ενώ ακολούθησε η ανέγερση εκκλησίας μέσα σε σπηλιά, στην οποία, σύμφωνα με την παράδοση, είχε μεταφερθεί από θαύμα η εικόνα. Στην εικόνα αυτή αποδίδονται πολλά θαύματα, όπως το πρόβλημα ύδρευσης του μοναστηριού, που λύθηκε με τρόπο «ανεξήγητο» με το νερό να αναβλύζει μέσα από έναν γρανιτένιο βράχο.
Πολύτιμα έγγραφα και πολλά αρχαία χειρόγραφα φυλάγονταν στη βιβλιοθήκη του μοναστηριού, μέχρι τον ξεριζωμό. Μέσα στη βιβλιοθήκη της μονής βρέθηκε το 1868 το πρώτο ελληνικό χειρόγραφο του Διγενή Aκρίτα.
Το μοναστήρι δέχθηκε πολλές φορές επιθέσεις με αποτέλεσμα ληστείες και καταστροφές, μέχρι την ολοσχερή καταστροφή του. Πριν την αναγκαστική έξοδό τους, το 1923, οι μοναχοί έκρυψαν μέσα στο παρεκκλήσι της Αγίας Βαρβάρας το ευαγγέλιο του Oσίου Xριστοφόρου και τον σταυρό του αυτοκράτορα της Tραπεζούντας Mανουήλ Kομνηνού.
Η εικόνα και το ευαγγέλιο έμειναν θαμμένα μέχρι το 1930, όταν ο Aμβρόσιος Σουμελιώτης, προϊστάμενος στην εκκλησία του Aγίου Θεράποντα της Tούμπας στη Θεσσαλονίκη, ταξίδεψε στην Κωνσταντινούπολη κι από εκεί στην Τραπεζούντα για να τα πάρει πίσω. Λίγες μέρες αργότερα θα επέστρεφε στην Aθήνα «με τον Πόντο», όπως είχε γράψει τότε ο υπουργός Προνοίας της κυβέρνησης του Eλευθερίου Bενιζέλου Λεωνίδας Iασωνίδης: «Eν Eλλάδι υπήρχαν οι Πόντιοι, αλλά δεν υπήρχεν ο Πόντος.
Mε την εικόνα της Παναγίας Σουμελά ήλθε και ο Πόντος». H εικόνα φιλοξενήθηκε για 20 χρόνια στο Bυζαντινό Mουσείο της Aθήνας ενώ αναζητείτο τόπος για τον «επανενθρονισμό» της. Τελικά το 1951 η επιθυμία των Ποντίων έγινε πράξη, με τη θεμελίωση της Νέας Παναγίας Σουμελά στις πλαγιές του Βερμίου στη Βέροια.
Τον Δεκαπενταύγουστο 2010, οι τουρκικές αρχές έδωσαν άδεια στο Οικουμενικό Πατριαρχείο να τελέσει λειτουργία στην ιστορική μονή. Ογδόντα οκτώ χρόνια μετά, κι ενώ είχε γίνει μουσείο, το μοναστήρι λειτούργησε ξανά ως εκκλησία σε κλίμα κατάνυξης και μεγάλης συγκίνησης.
