Ο οικισμός των Καλών Λιμένων βρίσκεται ανατολικά του ακρωτηρίου Λίθινο, στα νότια των Αστερουσίων. Σύμφωνα με το κείμενο των Πράξεων των Αποστόλων (27,8) ο Απόστολος Παύλος κατά τη μεταφορά του προς τη Ρώμη για να δικαστεί, πέρασε από τα νότια παράλια της Κρήτης και αποβιβάστηκε λόγω ισχυρών ανέμων στο ασφαλές αγκυροβόλι των Καλών Λιμένων. Η παρουσία του Απ. Παύλου συνδέεται με την διάδοση του χριστιανισμού και την ίδρυση βασιλικών κατά τους πρώτους χριστιανικούς χρόνους στη νότια Κρήτη και συγκεκριμένα στα Αστερούσια.

Το 1911 χτίζεται μικρός ναός αφιερωμένος στη μνήμη του Απ. Παύλου στη θέση παλιάς βασιλικής, πάνω σε λόφο νότια του σύγχρονου λιμανιού. Δίπλα από τον ναό υπάρχει σπηλιά στην οποία σύμφωνα με την παράδοση έμεινε ο Απόστολος των Εθνών.