Das Haus Visbeck hat eine bewegte Geschichte. Im 14. Jahrhundert, genauer gesagt 1338, wurde es erstmals als Rittergut urkundlich erwähnt.
Dies verleiht dem gesamten Hof noch heute etwas mystisches, obschon das alte Rittergut in der damaligen Form nicht mehr erhalten ist.
Von dem ehemals auf zwei Inseln gelegenen Wehrbau ist nur noch der westliche Teil des Wirtschaftsgebäudes aus dem 17. Jahrhundert erhalten. Dieser nach Nordwesten geöffnete, hufeisenförmige Gebäudekomplex bildete die Vorburg. Ein Herrenhaus, welches nördlich der Vorburg auf der kleineren Insel lag, brannte 1639 ab und wurde nicht wieder aufgebaut.
Im 18. Jahrhundert kam dann die jetzige Marienkapelle hinzu.
Erbaut wurde sie von dem Barock-Baumeister Johann Conrad Schlaun.
