Horst war ab 1421 Wohnsitz der Familie von Blumenthal. 1534 wurde die Burg (Rittergut) durch die Familie von Blumenthal schlossartig aus- und der Nordwest- und der Südwestflügel angebaut. Dadurch entstand ein aus vier unregelmäßigen Flügeln bestehendes Renaissanceschloss, das von einem Wassergraben umgeben war. In dem ehemals durch die vier Flügel umschlossenen rechteckigen Hof steht eine alte Eiche. Der Niedergang des Schlosses begann bereits im Dreißigjährigen Krieg. Vom zerstörten Südflügel konnte gut erhaltenes Baumaterial beim Bau des neuen Herrenhauses (1752) wiederverwendet werden. Der Nordflügel blieb länger erhalten und war bis Anfang des 18. Jahrhunderts bewohnt, bis Mitte des 19. Jahrhunderts auch noch überdacht. Zu sehen ist heute noch ein Teil des Nordflügels und der polygonale Treppenturm.