Sbarcato a Jamestown il 17 ottobre 1815, rifiutò di dormire in città, dove la folla si era ammassata per vederlo. Risalendo verso l'interno, scorse un giardino a terrazze sul fianco di un burrone, con melograni e rose: la proprietà di William Balcombe, agente della Compagnia delle Indie. Chiese di sistemarsi nel padiglione del giardino anziché in una casa ufficiale.
Vi restò dal 18 ottobre al 10 dicembre 1815, in due stanze sommarie, mentre si allestiva Longwood. Quei due mesi sono i meno infelici dell'esilio. La minore dei Balcombe, Betsy, tredici anni, parlava un po' di francese, non lo temeva e lo stuzzicava; lui stava al gioco, giocava a carte, a mosca cieca, si lasciava nascondere la spada. Lei avrebbe pubblicato i suoi ricordi nel 1844.
I Balcombe pagarono quella familiarità. Sospettato da Hudson Lowe di fare da intermediario, William Balcombe fu espulso dall'isola con la famiglia nel 1818. Betsy finì la vita in Australia, dove una città porta il nome della proprietà.
La casa principale bruciò nell'Ottocento, ma il padiglione del giardino sopravvive. Nel 1959 la famiglia Balcombe-Dallas lo donò alla Francia; oggi è gestito, come Longwood e la valle della Tomba, dal console di Francia a Sant'Elena, e ospita un piccolo museo. È il terzo e più discreto dei domini francesi dell'isola.