Видимо, неспроста он был первейшим другом Пушкина.
В скором времени это владение купили господа Тутолмины, затем тут обитали Долгорукие… К концу прошлого столетия усадьба, как и ее не менее достойные соседи, утеряла старое дворянское очарование и стала сдаваться внаем. Правда, этому владению везло на съемщиков. К примеру, тут проживал художник Серов, и дочь его с восторгом вспоминала: «При доме был особый двор и большой чудесный сад. Там, где теперь Музей изящных искусств имени Пушкина, находился плац, на котором проезжали верховых лошадей, и мы детьми залезали на деревья и часами наблюдали это зрелище».
Проживал тут и другой художник, Николай Мартынов (у него брали уроки живописи будущие издатели братья Сабашниковы). Впрочем, эта квартира была известна не столько творческими встречами, сколько жареными пирожками с гречневой кашей, луком и грибами, которые готовила супруга Мартынова.
После революции значимость дворца повысилась неоднократно. Здесь, например, обосновалось УЛИСО – Управление личного состава флота. В УЛИСО служила знаменитая писательница-революционерка Лариса Рейснер. Тут же была и ее квартира. Сохранилось описание этого жилища, оставленное Львом Никулиным: «Один угол комнаты со стенами чуть не метровой толщины занимала канцелярия флаг-секретаря комфлота, в других углах на столах и диванах лежали трофеи – сигареты, английские консервы, оружие, любительские фронтовые фотографии. На одной был изображен весь обвешанный оружием чернобородый человек в каракулевой папахе – вождь партизан Кучек-хан; помнятся еще фотоснимки, запечатлевшие вооруженные пароходы флотилии – миноносец „Карл Либкнехт“, яхту комфлота „Межень“ с пробоиной от снаряда, отряд моряков в строю, опять моряки в живописных позах, группой у пулемета и даже верхом».
О старых дворянских традициях в бывшей усадьбе не вспоминали.
А в 1933 году дворец отдали под Музей Маркса и Энгельса. Путеводитель по Москве 1937 года разъяснял: «Задача музея – показать жизнь и деятельность великих основоположников научного коммунизма – Маркса и Энгельса —
в свете истории международного революционного рабочего движения, показать методы работы Маркса и Энгельса, мировое распространение их произведений и работу Института Маркса – Энгельса – Ленина по изданию литературного наследства Маркса и Энгельса».