Ursprünglich war das Heimatmuseum ein Stadtturm an der Stadtmauer. Es wurde 1352 erstmals als Heilig-Geist-Kapelle erwähnt. Das Gebäude diente als Religionsstätte für arme Handwerksburschen und Durchreisende. Im 15./16. Jahrhundert wurde dem Rundbau eine Backsteinfassade vorgesetzt. Nach dem 30jährigen Krieg verfiel die Heilig-Geist-Kapelle. Jahrelang blieb sie als Ruine weiterbestehen.