Les terres (qui comprenaient une grande partie de la péninsule d'Hoxa et des autres fermes de l'île) qui entourent Roeberry House d'aujourd'hui avaient été cultivées par la famille Gray dans le dix-septième siècle. Thomas Gray a cultivé Hoxa et Cletts et il a nommé sa maison (qui se trouvait près du littoral), «Roeberry» qui est un nom nordique qui veut dire le rocher rouge et la péninsule. Son fils, William (Guillaume), était accordé une charte pour ces terres à Hoxa par le Comte de Morton. Ces terres étaient cultivées par la famille Gray jusqu'à 1922, quand la ferme était vendue.

Roeberry House elle-même était construite en 1861 et elle est restée dans la famille jusqu'au début du vingt-et-unième siècle. Pendant la deuxième Guerre mondiale la maison était occupée par l'Armée et elle était utilisée pour loger des officiers et pour fournir des bureaux administratifs. Quelques baraquements provisoires étaient construits à l'intérieur des murs qui avaient été bâtis pendant le dix-neuvième siècle par des maçons de Yorkshire; ces hommes avaient utilisés des pierres d'une carrière locale. Ces murs restent toujours et ils abritent encore 1.62 hectares de jardin et de bois.