Le terre che circondano l'attuale Roeberry House (che originariamente includevano gran parte della penisola di Hoxa ed altri possedimenti sull'isola) erano coltivate dalla famiglia Gray fin dall'inizio del XVII secolo.

Thomas Gray, un Udaller, rese coltivabili Hoxa e Cletts e chiamò la sua proprietà (allora situata più vicina al mare), "Roeberry", un antico nome norreno che significa "roccia e promontorio rossi". Nel 1649 a suo figlio William fu accordato dal Conte di Morton un contratto d'affitto per le terre di Hoxa, che furono coltivate ininterrottamente dalla famiglia Gray fino al 1922, anno in cui la tenuta fu venduta.

L'attuale Roeberry House fu costruita nel 1861 ed è rimasta di proprietà della famiglia fino agli inizi del XXI secolo. Durante la Seconda Guerra Mondiale la casa fu occupata dall'Esercito e usata come alloggio del personale e come uffici amministrativi di un presidio militare. Furono costruite baracche provvisorie all'interno delle mura, erette alla fine del XIX secolo da muratori dello Yorkshire utilizzando pietre provenienti da una cava locale e che sono rimaste fino ad oggi a protezione dei 4 acri di giardino e bosco.Le terre che circondano l'attuale Roeberry House (che originariamente includevano gran parte della penisola di Hoxa ed altri possedimenti sull'isola) erano coltivate dalla famiglia Gray fin dall'inizio del XVII secolo.