Het gebouw dat tegenwoordig in de volksmond "Het Hoompje" wordt genoemd is gebouwd in 1909 door een zekere baron Cox. Officieel heette het gebouw "La Pommerie". In eerste instantie werd het bewoond door de "Zusters der Kindheid van Maria", een orde in 1838 gesticht door Ch. Charton. Enkele jaren na de ingebruikname kwam het in bezit van de "Soeurs de la Providence de Rouen" die zich door de Combenwetten gedwongen zagen uit Frankrijk te vertrekken. Zij stichtten in het gebouw een noviciaat. Enige tijd later kochten de zusters Dominicanessen uit Brugge het pand. Het bood onderdak aan zusters die uit de missie kwamen en kreeg de naam "H. Hart ter Ruste". De zusters gaven er onderwijs aan geestelijk gehandicapte kinderen.

Na de Tweede Wereldoorlog was in het in vergelijking met de rest van de kern Sluis relatief een ongeschonden gebouw en werd er een noodstadhuis en politiebureau ingericht. 

Toen ook deze functie verloren ging is het monumentale pand met omringende tuinen en imposante oprijlaan leeg komen te staan. Om te verkomen dat het gehele complex zou worden gesloopt is het op de rijksmonumentenlijst geplaatst. Omstreeks 2000 heeft de gemeente het verkocht aan een projectontwikkelaar die hier appartementen wilde bouwen, op voorwaarde dat de gebouwen zouden worden gerestaureerd. Dit laatste is helaas niet gebeurd.

Inmiddels zijn grote delen van het dak en bovenverdieping ingestort en wordt het nu ook wel het ''spookhuis'' genoemd.