Im 13. Jahrhundert beschlossen die Bischöfe von Havelberg, Wittstock zu ihrer Residenz auszubauen. Als der letzte katholische Bischofs 1548 auf der Burg starb, fielen Burg und Besitz in der Folge an den brandenburgischen Kurfürsten. Durch den Dreißigjährigen Krieg entstanden bauliche Schäden, die letztlich fast zum kompletten Verfall der Burganlage führten.