Sbarcò il 4 maggio 1814 nel porto fortificato da Cosimo de' Medici, fra due fortezze cinquecentesche. Il trattato di Fontainebleau gli aveva lasciato la piena sovranità sull'isola, un titolo di imperatore e una rendita che Luigi XVIII non avrebbe mai pagato. In pochi giorni scelse una bandiera — bianca con banda rossa diagonale seminata di tre api — e si mise a governare.
Governò davvero, e molto. Strade, ospedale, illuminazione, catasto, scuola, piantagioni di gelsi e di vite, riorganizzazione delle miniere di ferro di Rio, regolamentazione della pesca del tonno: in trecento giorni applicò a ventiduemila persone i metodi concepiti per quaranta milioni. Gli elbani ne conservano un ricordo piuttosto buono.
Restano due residenze, entrambe trasformate in musei nazionali. La villa dei Mulini, fra i due forti, domina il mare: è la casa di città, con la biblioteca di duemila volumi portati da Fontainebleau. La villa San Martino, in campagna a cinque chilometri, serviva da ritiro estivo; la sua sala egizia richiama il 1798.
La partenza si preparò nel porto stesso. Il 26 febbraio 1815, di notte, l'Inconstant ridipinto con i colori inglesi salpò con un migliaio di uomini, mentre il commissario britannico era assente dall'isola. Tre giorni dopo sbarcava a Golfo Giuan. Portoferraio è l'unico luogo al mondo in cui Napoleone sia stato sovrano senza conquista e senza guerra.