Το Καστέλι είναι ένας λόφος στην Σκάλα της Πάτμου με ορατά τα σημάδια από την αρχαιότητα. Η Πάτμος είναι ένα παγκόσμιο μνημείο πολιτισμού και γνωστή για την Ιερή Σπηλιά της Αποκάλυψης και για το Μοναστήρι του Αγίου Ιωάννη του Θεολόγου, αλλά η ιστορία του νησιού δεν ξεκινάει ούτε κατά την διάρκεια της εξορίας του αγαπημένου μαθητή του Χριστού, τον πρώτο αιώνα, ούτε βέβαια τον 11ο αιώνα που ο Όσιος Χριστόδουλος ίδρυσε το μοναστήρι.
Για την Πάτμο υπάρχουν αναφορές και στην αρχαιότητα αλλά τα περισσότερα αρχιτεκτονικά μέλη από τις αρχαίες κατασκευές έχουν χρησιμοποιηθεί για τα νεότερα κτίρια. Τα μοναδικά εμφανή μέχρι και σήμερα κτίρια της αρχαίας εποχής είναι μερικά ερείπια στο Καστέλι, τον λόφο στην πίσω πλευρά της Σκάλας που ήταν ο αρχαίος οικισμός και η Ακρόπολη της Πάτμου στην αρχαιότητα.
Στο Καστέλι που είναι προσβάσιμο μόνο με τα πόδια με από δύο μονοπάτια που στο τέλος γίνονται ένα, θα δείτε ότι έχει μείνει όρθιο από μια οχύρωση της από το τέλος της κλασικής και της Ελληνιστικής εποχής.