Das mittelalterliche kleine Schloss Ter Hooge bestand ursprünglich aus einer unordentlichen Ansammlung von kleinen Gebäuden. Es wird angenommen, dass Sijmon van der Hooge es im 13. Jahrhundert besaß. Danach ging das kleine Schloss in den Besitz der Familie Van Borssele über. Im Jahr 1713 wurde es an den Kaufmann Steven Scheyderuyt aus Middelburg verkauft. Er ließ einen geometrischen Garten mit vier Jagdsternen, einem Graben mit Wellenkanten und einer Allee hinter dem Haus anlegen.

Renovierungen
Nachdem das Anwesen noch einige Male den Besitzer gewechselt hatte, ging es 1871 in den Besitz von Baron Van Lynden über. Um 1880 folgten neue Renovierungen: eine Suite, ein Esszimmer und ein Billardzimmer wurden hinzugefügt, ein Balkon wurde an der hinteren Fassade angebracht und eine Veranda und eine Uhr an der Vorderseite hinzugefügt.

Heute ist das Haus in einige Wohnungen aufgeteilt und wird privat genutzt. Der Park ist weitgehend für Spaziergänger zugänglich.