Schloss Kazarma (Casa di Arma) wurde auf einem Hügel in der Nähe des Hafens von Sitia gebaut und erinnert an die alten Zeiten, wenn es die Stadt beschützte. Die Festung ist der einzige überlebende Teil der alten Stadtmauern, die von den Venezianern zerstört wurden.
Die Festung und die Mauern, die als Kaserne oder Kommandoposten dienten, sind nicht venezianisch, sondern wurden in der byzantinischen Zeit gebaut. Die Venezianer zerstörten später die Mauern, um stärkere wieder aufzubauen, aber es ist nie passiert. Während der osmanischen Besetzung wurden die Wände nicht wieder aufgebaut, aber nur Kazarma wurde restauriert.
Heute wird Kazarma für die kulturellen Veranstaltungen Kornaria verwendet. Die Festung hat zwei Etagen, mit internen Treppen, die zu den Fußböden und den Zinnen führen.