Construido en 1720 para el conde de Évreux, el palacete pasó a la Pompadour, luego por la Revolución, antes de ser comprado en 1805 por Murat, que lo amuebló suntuosamente. Al convertirse en rey de Nápoles en 1808, se lo cedió al Emperador. Josefina residió allí tras el divorcio; Napoleón trabajaba allí cuando quería escapar a la etiqueta de las Tullerías.
El 21 de junio de 1815 volvió de Bélgica y se alojó en el Elíseo en lugar de las Tullerías — señal de que ya no se sentía del todo en su casa. La Cámara de representantes, empujada por Fouché y Lafayette, se declaró en sesión permanente y exigió su abdicación; Luciano lo apremió a disolver las Cámaras por la fuerza, Davout y Carnot se negaron.
El 22 de junio firmó el acta de abdicación en favor de su hijo, que nunca reinaría: «Mi vida política ha terminado y proclamo a mi hijo, con el título de Napoleón II, emperador de los franceses.» Al día siguiente la Cámara nombró una comisión de gobierno presidida por Fouché, el hombre que ya negociaba con los Borbones.
Dejó el Elíseo el 25 de junio hacia Malmaison, luego Rochefort. El palacio fue residencia del duque de Berry bajo la Restauración; en 1848 Luis Napoleón Bonaparte se instaló allí como primer presidente de la República, y desde allí preparó su golpe de Estado. Desde 1873 residen allí todos los presidentes franceses: la casa donde se apagó el Imperio es la casa que habita la República.