Desembarcado en Jamestown el 17 de octubre de 1815, se negó a dormir en la ciudad, donde la multitud se había agolpado para verlo. Subiendo hacia el interior, divisó un jardín en terrazas en la ladera de un barranco, con granados y rosas: la propiedad de William Balcombe, agente de la Compañía de las Indias. Pidió instalarse en el pabellón del jardín antes que en una casa oficial.
Permaneció allí del 18 de octubre al 10 de diciembre de 1815, en dos habitaciones sumarias, mientras se acondicionaba Longwood. Esos dos meses son los menos desdichados del exilio. La menor de los Balcombe, Betsy, de trece años, hablaba algo de francés, no le tenía miedo y lo picaba; él se prestaba al juego, jugaba a las cartas, a la gallina ciega, se dejaba esconder la espada. Ella publicaría sus recuerdos en 1844.
Los Balcombe pagaron esa familiaridad. Sospechoso para Hudson Lowe de servir de intermediario, William Balcombe fue expulsado de la isla con su familia en 1818. Betsy acabó su vida en Australia, donde una ciudad lleva el nombre de la propiedad.
La casa principal ardió en el siglo XIX, pero el pabellón del jardín subsiste. En 1959 la familia Balcombe-Dallas lo donó a Francia; hoy lo gestiona, como Longwood y el valle de la Tumba, el cónsul de Francia en Santa Elena, y alberga un pequeño museo. Es el tercero y más discreto de los dominios franceses de la isla.