Η «Παναγιά η Κακαβιώτισσα», όπως ονομάστηκε η εκκλησία από το βουνό Κάκαβο στο οποίο βρίσκεται, είναι κοντά στο χωριό του Ζεματά, μόλις 4 χιλιόμετρα νοτιοανατολικά από το λιμάνι της Μύρινας, που είναι και η πρωτεύουσα του νησιού.
Το εκκλησάκι εκτιμάται ότι χτίστηκε το 1300 και εκεί επέλεξαν ερημίτες μοναχοί να ασκητέψουν. Το 1305 το εκκλησάκι περιήλθε στην ιδιοκτησία της μονής Μεγίστης Λαύρας, όταν μοναχοί από τον Άγ. Ευστράτιο που ανήκαν στη Mονή, εγκαταστάθηκαν στο εξωκλήσι για να προστατευθούν από τις επιδρομές Τούρκων.
Κάτω από το βραχώδες μπαλκόνι οι ασκητές έχτισαν τον μικρό ναό για να τελούν τη Θεία Λειτουργία οι μοναχοί. Με το πέρασμα των χρόνων οι μοναχοί έφυγαν από τη ζωή και ο τελευταίος αποφάσισε να εγκαταλείψει τη Λήμνο και να πάει στο Άγιο Όρος.Σύμφωνα με την παράδοση, πριν φύγει για το Άγιο όρος, βρήκε ένα Λημνιό από την οικογένεια Μουμτζή, που είχε τη μάντρα του εκεί κοντά και του εμπιστεύτηκε την εικόνα της Παναγίας, το «Ρόδον το αμάραντον».
Ο μοναχός ζήτησε από το βοσκό να τοποθετεί την εικόνα στο ναό κάθε «Λαμπροτρίτη» για να λειτουργείται. Έπειτα, σύμφωνα με το λαϊκό θρύλο, ο ασκητής μπήκε στη θάλασσα, άνοιξε το ράσο του, το οποίο έγινε βάρκα και έφυγε για το Άγιο Όρος.Σήμερα, ο επισκέπτης, μέτα την ανηφορική διαδρομή με την εντυπωσιακή θέα προς τον κόλπο του Μούδρου, θα αποζημιωθεί για την όποια… ταλαιπωρία αντικρίζοντας ένα μοναδικό θέαμα. Ένα μικρο κάτασπρο ξωκλήσι, με μπλε πόρτες, γεμάτο εικόνες και χωρίς σκεπή, ησυχαστήριο για εκείνους που θέλουν να απομονωθούν και να προσευχηθούν.
Η εσοχή του βράχου δημιουργεί μια φυσική κρυψώνα για το τελετουργικό που λαμβάνει χώρα κάθε Τρίτη του Πάσχα, τη μόνη μέρα που τελείται επίσημη λειτουργία στη μικρή αυτή μοναδικής αισθητικής Εκκλησία.Εκείνη την ημέρα μεταφέρεται πάνω στο βράχο, μέσω των πετρόκτιστων σκαλιών η ξακουστή εικόνα «το Ρόδον το Αμάραντο», την οποία φυλάσσει όλον τον υπόλοιπο χρόνο μια οικογένεια της περιοχής.
