П.Г. Гагарин не чуждался литературы, помещая свои стихи в «Вестнике Европы», издаваемом Жуковским. Будучи страстным любителем книг, он собрал большую библиотеку, где имелось много редкостей. В 1831 году князь неожиданно для всех женился на балерине М.И. Спиридоновой, после чего изменил образ жизни, оставил уединение и, «окруженный стаею гнусных собак», поселился в своем поместье на правом берегу Невы.
В 1806 году в доме Гагарина останавливался П.И. Багратион, а в 1810-х годах здесь поселилась Е.П. Лунина, двоюродная сестра декабриста и знакомая А.С. Пушкина. Они познакомились в после-лицейский период жизни поэта. Несмотря на довольно некрасивую наружность, Лунина слыла львицей большого света. Она много путешествовала с матерью, была во Франции, Германии, хорошо знала музыку и обладала прекрасным голосом. В Париже, в салоне королевы Гортензии (супруги короля Голландии Луи Бонапарта, брата Наполеона), она имела такой успех, что Наполеон просил ее петь в дружеском кружке в Тюильри. Этого оказалось достаточно, чтобы сделать ее знаменитой в русском обществе. В одном из писем Пушкин сообщал: «Еду сегодня в концерт великолепной и необыкновенной певицы Екатерины Петровны Луниной».
Е.П. Лунина
Жила она в нижнем этаже. Однажды ранним утром любивший пешие прогулки Александр I заметил, как кто-то вылезал из окна ее квартиры. Вернувшись во дворец, император призвал к себе обер-полицмейстера и через него велел передать Луниной, чтобы та остерегалась, потому что ночью к ней могут влезть и похитить все, что у нее есть драгоценного. Впоследствии Екатерина Петровна вышла замуж за итальянца графа Риччи, певца, поэта и композитора. Он перевел на итальянский язык стихотворения Пушкина «Демон» и «Пророк».
С этим же домом связаны весьма заметные события в жизни самого Пушкина. В 1827–1830 годах здесь проживало семейство А.Н. Оленина, с которым поэт был знаком с юных лет. Весной 1827 года, вернувшись в Петербург после ссылки, Пушкин возобновил старые связи с гостеприимным домом Олениных. Особенно часто он стал навещать их с весны следующего года. Известно его увлечение в то время Анной Алексеевной Олениной. После неудачного сватовства поэта наступило охлаждение в отношениях с семьей Олениных, и с осени 1828 года он прекратил свои посещения. Наряду с Пушкиным частыми гостями здесь были П.А. Вяземский, А.С. Грибоедов, А. Мицкевич.