Το κάστρο βρίσκεται πάνω από τον οικισμό της Αγ. Ρουμέλης, στην έξοδο του Φαραγγιού της Σαμαριάς. Η πρόσβαση στο κάστρο γίνεται μέσω ανηφορικού μονοπατιού που αποζημιώνει τους αναβάτες με την θέα του προς τη θάλασσα. Αυτού του είδους τα οχυρά κατασκευάστηκαν από τους Οθωμανούς για την καταστολή της Κρητικής Επανάστασης το 1866 με 1869. Με αυτό τον τρόπο εξασφαλιζόταν η εποπτεία των περιοχών και ο ανεφοδιασμός από την θάλασσα ή από την ενδοχώρα. Το 1867 και 1868 οι Οθωμανοί επιτέθηκαν στην Αγ. Ρουμέλη, στο καταφύγιο των επαναστατών, στην είσοδο του φαραγγιού́. Έπειτα εγκατέστησαν τέσσερα φρούρια στην ευρύτερη περιοχή από τα οποία σε καλή κατάσταση διατηρείται αυτό πάνω από τον οικισμό. Το κάστρο ήταν μεγάλων διαστάσεων, ορθογώνιου σχήματος, με προμαχώνα στα δυτικά και δυο κυκλικούς πύργους.