Der Standort der einstigen Burg konnte nicht besser gewählt sein: Hoch über der Elbe hatten die Burgherren die Schifffahrt auf dem Fluss und das Umland immer im Blick. Errichtet wurde die Anlage von Bernhard von Askanien ab dem Jahre 1182. Nach einem Brand 1616 und schwerem Beschuss im Schwedisch-Polnischen Krieg 1656 stehen vom einstigen Schloss jedoch nur noch der Ostflügel und der Turm. Zu Beginn des 18. Jahrhunderts entstand auf dem Areal ein Amtshaus, „Schloss“ genannt, das einst als Rathaus und Amtsgericht diente und heute Sitz der Stadtverwaltung ist.