Costruito nel 1720 per il conte d'Évreux, il palazzo passò alla Pompadour, poi attraverso la Rivoluzione, prima di essere comprato nel 1805 da Murat, che lo arredò sontuosamente. Diventato re di Napoli nel 1808, lo cedette all'Imperatore. Giuseppina vi soggiornò dopo il divorzio; Napoleone vi lavorava quando voleva sfuggire all'etichetta delle Tuileries.
Il 21 giugno 1815 tornò dal Belgio e scese all'Eliseo anziché alle Tuileries — segno che non si sentiva più del tutto a casa. La Camera dei rappresentanti, spinta da Fouché e Lafayette, si dichiarò in permanenza ed esigette la sua abdicazione; Luciano lo incalzava a sciogliere le Camere con la forza, Davout e Carnot rifiutarono.
Il 22 giugno firmò l'atto di abdicazione in favore del figlio, che non avrebbe mai regnato: «La mia vita politica è finita e proclamo mio figlio, col titolo di Napoleone II, imperatore dei francesi.» L'indomani la Camera nominò una commissione di governo presieduta da Fouché, l'uomo che già trattava con i Borbone.
Lasciò l'Eliseo il 25 giugno per Malmaison, poi Rochefort. Il palazzo divenne residenza del duca di Berry sotto la Restaurazione; nel 1848 Luigi Napoleone Bonaparte vi si installò come primo presidente della Repubblica, e di lì preparò il suo colpo di Stato. Dal 1873 vi risiedono tutti i presidenti francesi: la casa in cui l'Impero si spense è quella che la Repubblica abita.
