Der Kaisertrutz wurde zwischen 1490 und 1520 als Geschützbastei des Reichenbacher Tores errichtet. Zu dieser Zeit war er ein neuartiges Festungswerk, das den Zugang der Fernhandelsstraße Via Regia nach Görlitz schützen sollte. Während des Dreißigjährigen Krieges verschanzten sich schwedische Truppen im Gebäude und wurden von kaiserlichen Soldaten erfolglos belagert. Seitdem Zeit trägt das Gebäude den Namen »Kaisertrutz«. In späteren Jahrhunderten erfüllte es verschiedene andere Aufgaben, z. B. als Standort der Görlitzer Stadtwache. Seit 1932 ist der Kaisertrutz ein Ausstellungsgebäude der Görlitzer Sammlungen. Mit seinen fünf Geschossen bietet er eine Gesamtausstellungsfläche von rund 2.500 Quadratmetern. Davon werden drei Geschosse für die stadt- und regionalgeschichtlichen Dauerausstellungen sowie ein Geschoss für die »Galerie der Moderne« genutzt. Ein weiteres Geschoss dient als Sonderausstellungsraum.