Το όνομα Καζάρμα προέρχεται από το ενετικό Casa di Arma, που σημαίνει στρατώνας. Και όντως εδώ ήταν ο στρατώνας της φρουράς, το διοικητήριο της Μεσαιωνικής Σητείας η οποία περιβαλλόταν από τείχος. Το τείχος που έφτανε μέχρι την Καζάρμα χτίστηκε μαζί με το φρούριο στα ύστερα βυζαντινά χρόνια.
Όμως οι καταστροφές από σεισμούς, από τις επαναστάσεις των κατοίκων ενάντια στους Ενετούς αλλά και την επιδρομή του Μπαρμπαρόσα προκάλεσαν μεγάλες ζημιές τόσο στα τείχη όσο και στην Καζάρμα. Τα δε τείχη, τα γκρέμισαν οι Ενετοί με σκοπό να τα ξαναφτιάξουν, πράγμα που όμως δεν έγινε ποτέ.
Ευτυχώς η Καζάρμα είχε καλύτερη τύχη καθότι οι Τούρκοι κατακτητές την αναστήλωσαν, κάνοντας μάλιστα και διάφορες προσθήκες οι οποίες παραμένουν ορατές μέχρι σήμερα: ένα χαρακτηριστικό παράδειγμα είναι οι κουμπέδες πάνω στις επάλξεις (τα φυλάκια) του φρουρίου.
Δύο σκάλες οδηγούν στην κύρια, καμαρωτή είσοδο, και στη συνέχεια απλώνεται μια ευρύχωρη αυλή με δύο ανισόπεδα κρηπιδώματα που στη συνέχεια καταλήγουν στο κυρίως κτίριο. Στα ανατολικά του υπάρχει ένα κτίριο τριών δωματίων και στα δυτικά του τα ερείπια ενός μικρότερου κτιρίου που πιθανολογείται ότι ήταν μαγειρείο.
Το πέρασμα από την Καζάρμα επιβάλλεται, τόσο γιατί δίνει τη μοναδική αίσθηση της μεσαιωνικής Σητείας όσο γιατί προσφέρει πανοραμική θέα στην πόλη και τον κόλπο της.
Το καλοκαίρι υπάρχουν επιπλέον λόγοι για να πάρει κανείς τον ανηφορικό δρόμο για το φρούριο αφού εδώ φιλοξενούνται τα «Κορνάρεια», ένα φεστιβάλ με διάφορες πολιτιστικές εκδηλώσεις (συναυλίες, εκθέσεις, θέατρο κτλ).
