При Талызиных отстраивается усадьба – во вкусе Казакова (вероятнее всего, архитектором был кто-либо из его учеников). А в 1805 году талызинский наследник продал свою собственность саратовским помещикам Устиновым.
В 1826 году к владельцам дома заходил сам Пушкин, и, естественно, Устинов сделал запись в дневнике: «Намедни был у нас в гостях Александр Сергеевич. По-приятельски пообщались. Передал письмо для Кривцова». Собственно, передать письмо и свежеизданного «Годунова» своему приятелю Н. И. Кривцову (по совместительству – соседу по Саратовской губернии господ Устиновых) было единственной целью визита. Но Устиновы слыли людьми передовыми и неравнодушными к искусствам, так что пушкинский визит пришелся весьма кстати.
А еще, по преданию, именно в этом доме жил герой романа «Война и мир» Пьер Безухов. Впрочем, краеведы всячески стараются эту легенду опровергнуть. Придираются они к таким словам Толстого: «Узнав за обедом, что княжна Марья в Москве и живет в своем несгоревшем доме на Воздвиженке, он в тот же вечер поехал к ней». Якобы, если бы Безухов проживал на той же улице Воздвиженке, он бы не поехал, а пошел к своей приятельнице. Будто бы речь идет не о богатом графе, а о жалком и затюканном настройщике роялей! Да и сам Толстой все же писатель, а не клерк из департамента недвижимости – мог ведь и позволить себе некоторые условности.
Зато доподлинно известно, что в 1869 году в доме останавливался композитор М. Балакирев. Пил чай, скучал, работал над фантазией для фортепиано «Исламей». Время от времени ходил с приятелями на прогулки. Поэт Н. Кашкин вспоминал: «Мы часто виделись. М. А. Балакирев, Чайковский и я были большими любителями длинных прогулок пешком и совершали их иногда вместе. Помнится, на одной из подобных прогулок Милий Алексеевич предложил Чайковскому план увертюры „Ромео и Джульетты“, по крайней мере, у меня воспоминание об этом связывается с прелестном майским днем, лесной зеленью и большими соснами, среди которых мы шли».
Усадьба в то время не принадлежала Устиновым – они продали свою недвижимость в 1845 году в Казенную палату…
А после революции здание прошло сквозь целую череду владельцев. Сначала – секретариат ЦК ВКП (б). Потом – государственная плановая комиссия. Следом за ней – Народный комиссариат юстиции… А затем старая роскошная усадьба почему-то сделалась обыкновенным жилым домом.