Débarqué à Jamestown le 17 octobre 1815, il refuse de dormir dans la ville, où la foule s'est massée pour le voir. En remontant vers l'intérieur, il aperçoit un jardin en terrasses au flanc d'un ravin, avec des grenadiers et des roses : c'est la propriété de William Balcombe, agent de la Compagnie des Indes. Il demande à s'installer dans le pavillon du jardin plutôt que dans une maison officielle.
Il y reste du 18 octobre au 10 décembre 1815, dans deux pièces sommaires, pendant qu'on aménage Longwood. Ces deux mois sont les moins malheureux de l'exil. La cadette des Balcombe, Betsy, treize ans, parle un peu français, ne le craint pas et le taquine ; il se prête au jeu, joue aux cartes, à colin-maillard, se laisse cacher son épée. Elle publiera ses souvenirs en 1844.
Les Balcombe paieront cette familiarité. Soupçonné par Hudson Lowe de servir d'intermédiaire, William Balcombe est renvoyé de l'île en 1818 avec sa famille. Betsy finira sa vie en Australie, où une ville porte le nom de la propriété.
La maison principale a brûlé au XIXe siècle, mais le pavillon du jardin subsiste. En 1959, la famille Balcombe-Dallas en fait don à la France ; il est aujourd'hui géré, comme Longwood et la vallée du Tombeau, par le consul de France à Sainte-Hélène, et abrite un petit musée. C'est le troisième et le plus discret des domaines français de l'île.
