Een rommelige opeenstapeling van gebouwtjes vormt oorspronkelijk het middeleeuwse kasteeltje Ter Hooge. Sijmon van der Hooge is hier in de 13e eeuw vermoedelijk eigenaar van geweest. Daarna komt het kasteeltje in handen van de familie Van Borssele. In 1713 wordt het verkocht aan de Middelburgse koopman Steven Scheyderuyt. Deze laat een geometrische tuin aanleggen met vier sterrebossen, een gracht met geschulpte rand en een laan achter het huis.

Verbouwingen
Na nog enkele keren van eigenaar te zijn gewisseld, komt het buiten in 1871 in handen van baron Van Lynden. Rond 1880 volgen nieuwe verbouwingen: er komt een suite, eetkamer en biljartkamer, de achtergevel wordt voorzien van een balkon en de voorzijde van een veranda en een klok.

Tegenwoordig is het huis opgedeeld in een paar appartementen en wordt het particulier bewoond. Het park is grotendeels toegankelijk voor wandelaars.