Schon Martin Luther kannte den Apollensberg, den er als „Pollersberg“ in seinen Tischreden erwähnte. Denn auf der Anhöhe befand sich damals eine Wallfahrtskapelle, die der Jungfrau Maria gewidmet war. 1542 wurde sie aber im Auftrag des Kurfürsten Johann Friedrich abgerissen, der Baumaterial für den Festungswall von Wittenberg benötigte. Anfang des 16. Jahrhunderts nutzte die Universität Wittenberg den Hügel neben Wein- und Obstanbau für botanische Untersuchungen.