Bâti en 1720 pour le comte d'Évreux, l'hôtel passe à la Pompadour, puis à la Révolution, avant d'être acheté en 1805 par Murat, qui le meuble somptueusement. Devenu roi de Naples en 1808, celui-ci le cède à l'Empereur. Joséphine y séjourne après le divorce, Napoléon y travaille lorsqu'il veut échapper à l'étiquette des Tuileries.
Le 21 juin 1815, il rentre de Belgique et descend à l'Élysée plutôt qu'aux Tuileries — signe qu'il ne se croit plus tout à fait chez lui. La Chambre des représentants, poussée par Fouché et Lafayette, se déclare en permanence et exige son abdication ; Lucien le presse de dissoudre les Chambres par la force, Davout et Carnot s'y refusent.
Le 22 juin, il signe l'acte d'abdication en faveur de son fils, qui ne régnera jamais : « Ma vie politique est terminée et je proclame mon fils, sous le titre de Napoléon II, empereur des Français. » Le lendemain, la Chambre nomme une commission de gouvernement présidée par Fouché, l'homme qui négocie déjà avec les Bourbons.
Il quitte l'Élysée le 25 juin pour Malmaison, puis Rochefort. Le palais devient résidence du duc de Berry sous la Restauration ; en 1848, Louis-Napoléon Bonaparte s'y installe comme premier président de la République, et c'est de là qu'il prépare son coup d'État. Depuis 1873, tous les présidents français y résident : la maison où l'Empire s'est éteint est celle où la République habite.