Il débarque le 4 mai 1814 dans le port fortifié par Cosme de Médicis, entre deux forteresses du XVIe siècle. Le traité de Fontainebleau lui a laissé la souveraineté pleine et entière sur l'île, un titre d'empereur et une rente que Louis XVIII ne paiera jamais. En quelques jours, il choisit un drapeau — blanc à bande rouge diagonale semée de trois abeilles — et se met à gouverner.
Il gouverne réellement, et beaucoup. Routes, hôpital, éclairage, cadastre, école, plantations de mûriers et de vigne, réorganisation des mines de fer de Rio, réglementation de la pêche au thon : en trois cents jours, il applique à vingt-deux mille personnes les méthodes conçues pour quarante millions. Les Elbois en gardent une mémoire plutôt bonne.
Deux résidences subsistent, l'une et l'autre transformées en musées nationaux. La villa dei Mulini, entre les deux forts, domine la mer : c'est la maison de ville, avec sa bibliothèque de deux mille volumes rapportés de Fontainebleau. La villa San Martino, dans la campagne à cinq kilomètres, sert de retraite d'été ; sa salle égyptienne rappelle 1798.
Le départ se prépare dans le port même. Le 26 février 1815, à la nuit, l'Inconstant repeint aux couleurs anglaises appareille avec un millier d'hommes, pendant que le commissaire britannique est absent de l'île. Trois jours plus tard, il débarque au Golfe-Juan. Portoferraio est le seul endroit au monde où Napoléon a été souverain sans conquête et sans guerre.
