В своем новом доме Репнина встречалась с Н.В. Гоголем, его сестры – Анна и Лиза некоторое время у нее жили. Здесь же жила золовка – Варвара Николаевна Репнина, фрейлина и поклонница писателя, оставившая о нем воспоминания. Она переписывалась также с Т.Г. Шевченко, тот ей посвятил поэму «Тризна», и, прожив долгую жизнь, сама много публиковалась.
Для следующей хозяйки – княгини Луизы Николаевны Долгоруковой, купившей дом в 1869 году, академик Ф.Л. Миллер в последующие два года слегка изменил в стиле эклектики фасад особняка с набережной и Галерной. Княгиня прожила в обновленном особняке всего пять лет до его продажи с аукциона купчихе Софье Гавриловне Голенищевой. Купчиха его немедля подарила своей дочери – Надежде Семеновне, в замужестве Вонлярлярской. Оценивался этот дар в 170 тыс. рублей. В апреле 1885 года брат Надежды – фабрикант и оптовик Владимир Семенович Голенищев за 250 тыс. руб. уступил дом барону Сергею Павловичу фон Дервизу (1863–1943), унаследовавшему от отца, железнодорожного магната, огромное богатство. Вскоре брат Павел фон Дервиз сделал его соседним. Начинается новая история дома, общая с правым зданием.
А как складывалась судьба соседнего справа здания? Полковник В.Ю. Одоевский в 1726 году переводится в Москву, где заведует Оружейной палатой, и продает участок «девице Нарышкиной». От которой он перешел к дяде Петра I – Александру Львовичу Нарышкину (1694–1746), обучавшемуся морскому делу в Англии, а после возвращения назначенному в Адмиралтейство. Он был братом первой жены вышеупомянутого А.П. Волынского. За участие в заговоре против А.Д. Меншикова Нарышкин был выслан в деревню, но вскоре прощен и в 1736 году возглавил Канцелярию строений дворцов и садов. Боярин обладал сильным характером и пользовался большим уважением в Сенате.
После его смерти новопостроенный (в начале 1730-х) дом в 1746 (?) году оказался во владении известного графа Кирилла Григорьевича Разумовского, фаворита императрицы Елизаветы Петровны, у которого и без того в городе было много недвижимости – главный дворец графа стоял на Мойке, близ Невского. Разумовский сдавал, записанный на жену Екатерину Ивановну, «починкою вновь исправленный», дом на набережной «поперешником 11 сажень >1/>3 аршина», где «вверху <…>6 покоев, зала седьмая, кухня, ледник, конюшня на 8 стойл, а внизу 6 же покоев».