Am 17. Oktober 1815 in Jamestown gelandet, weigerte er sich, in der Stadt zu schlafen, wo sich die Menge versammelt hatte, ihn zu sehen. Landeinwärts reitend erblickte er einen Terrassengarten an der Flanke einer Schlucht, mit Granatapfelbäumen und Rosen: das Anwesen von William Balcombe, einem Agenten der Ostindien-Kompanie. Er bat, im Gartenpavillon statt in einem amtlichen Haus zu wohnen.
Er blieb dort vom 18. Oktober bis 10. Dezember 1815, in zwei kargen Räumen, während Longwood hergerichtet wurde. Diese zwei Monate waren die am wenigsten unglücklichen des Exils. Die jüngere Balcombe-Tochter Betsy, dreizehn, sprach etwas Französisch, fürchtete ihn nicht und neckte ihn; er spielte mit, Karten und Blindekuh, ließ sich den Degen verstecken. 1844 veröffentlichte sie ihre Erinnerungen.
Die Balcombes bezahlten für diese Vertraulichkeit. Von Hudson Lowe verdächtigt, als Mittelsmann zu dienen, wurde William Balcombe 1818 mit seiner Familie von der Insel gewiesen. Betsy beschloss ihr Leben in Australien, wo eine Stadt den Namen des Anwesens trägt.
Das Haupthaus brannte im 19. Jahrhundert ab, der Gartenpavillon aber blieb. 1959 schenkte ihn die Familie Balcombe-Dallas Frankreich; er wird heute wie Longwood und das Grabtal vom französischen Konsul auf St. Helena verwaltet und beherbergt ein kleines Museum. Es ist das dritte und unscheinbarste der französischen Anwesen auf der Insel.
