In seiner ersten urkundlichen Erwähnung im Jahr 1386 wird es als „dat slot to perleberghe“ tituliert. Den brandenburgischen Kurfürsten stand es als repräsentatives Quartier zur Verfügung, wenn sie die Prignitz besuchten. Im Lauf seiner Geschichte war das Fachwerkhaus aber auch Gefängnis, Waffenkammer, Kaserne. Im 18. Jahrhundert kam das Wallgebäude in die Hände der Stadt und nahm die Gestalt an, die wir heute noch sehen: der zweigeschossige Fachwerkbau mit den großen Toreinfahrten.