Το... 

 
γραφικό ξωκλήσι με την αξιοθαύμαστη αρχιτεκτονική του είναι χτισμένο κάτω από μια σπηλιά. Η Παναγιά η Κακαβιώτισσα πήρε το όνομά της από το βουνό Κάκαβο στο οποίο βρίσκεται και είναι κοντά στο χωριό του Ζεματά, μόλις 4 χιλιόμετρα νοτιοανατολικά από το λιμάνι της Μύρινας.




Το εκκλησάκι εκτιμάται ότι χτίστηκε το 1300 και εκεί επέλεξαν ερημίτες μοναχοί να ασκητέψουν. Το 1305 περιήλθε στην ιδιοκτησία της μονής Μεγίστης Λαύρας, όταν μοναχοί από τον Άγ. Ευστράτιο που ανήκαν στη μονή, εγκαταστάθηκαν στο εξωκλήσι για να προστατευθούν από τις επιδρομές Τούρκων.



Κάτω από το βραχώδες μπαλκόνι, οι ασκητές έχτισαν το μικρό ναό για να τελούν τη θεία λειτουργία. Με το πέρασμα των χρόνων οι μοναχοί έφυγαν από τη ζωή και ο τελευταίος αποφάσισε να εγκαταλείψει τη Λήμνο και να πάει στο Άγιο Όρος.




Σύμφωνα με την παράδοση, πριν φύγει για το Άγιο όρος, βρήκε ένα Λημνιό, που είχε τη μάντρα του εκεί κοντά και του εμπιστεύτηκε την εικόνα της Παναγίας, το «Ρόδον το αμάραντον». Ο μοναχός ζήτησε από το βοσκό να τοποθετεί την εικόνα στο ναό κάθε Τρίτη μετά τη Λαμπρή για να λειτουργείται.



Στο ξωκλήσι δεν ήρθαν νέοι μοναχοί και πλέον έμεινε ως αξιοθέατο του νησιού, από τα πιο δημοφιλή, μάλιστα. Στο εξωκλήσι γίνεται μόνο μια λειτουργία το χρόνο, κάθε Τρίτη μετά τη Λαμπρή.