В 20-е годы 19 века Николай I передал Мраморный дворец своему второму сыну — Константину Николаевичу. При нем была предпринята капитальная реконструкция дворца. Работы по благоустройству были закончены в 1849 году, тогда же дворец было приказано именовать «Константиновским». После смерти Константина Николаевича дворцом владел его сын — Константин Константинович, известный поэт Серебряного века, писавший под псевдонимом «К.Р.». Его мемориальный музей находится сейчас на первом этаже дворца в сохранившихся интерьерах личных апартаментов Великого князя.
После революции в здании дворца располагался музей В.И. Ленина. Сейчас здесь открыта экспозиция «Коллекция братьев Ржевских» — собрание Якова и Иосифа Ржевских, переданное в 1998 году в дар музею. Среди произведений: живопись, скульптура и графика XVIII-XX веков, декоративно-прикладное искусство, в том числе уникальная коллекция часов каминных, напольных и дорожных. Часть залов занимает «Музей современного искусства Петера и Ирэне Людвиг» — единственное на сегодняшний день собрание интернационального современного искусства с постоянной экспозицией в России. Также здесь проходят временные выставки современного искусства.
