П. Г. Гагарин не чуждался литературы, помещая свои стихи в «Вестнике Европы», издаваемом Жуковским. Будучи страстным любителем книг, он собрал большую библиотеку, где имелось много редкостей. В 1831 году князь неожиданно для всех женился на балерине М. И. Спиридоновой, после чего изменил образ жизни, оставил уединение и, «окруженный стаею гнусных собак», поселился в своем поместье на правом берегу Невы.
Е. П. Лунина
В 1806 году в доме Гагарина останавливался П. И. Багратион, а в 1810-х годах здесь поселилась Е. П. Лунина, двоюродная сестра декабриста и знакомая А. С. Пушкина. Они познакомились в послелицейский период жизни поэта. Несмотря на довольно некрасивую наружность, Лунина слыла львицей большого света. Она много путешествовала с матерью, была во Франции, Германии, хорошо знала музыку и обладала прекрасным голосом. В Париже, в салоне королевы Гортензии (супруги короля Голландии Луи Бонапарта, брата Наполеона), она имела такой успех, что Наполеон просил ее петь в дружеском кружке в Тюильри. Этого оказалось достаточно, чтобы сделать ее знаменитой в русском обществе. В одном из писем Пушкин сообщал: «Еду сегодня в концерт великолепной и необыкновенной певицы Екатерины Петровны Луниной».
Жила она в нижнем этаже. Однажды ранним утром любивший пешие прогулки Александр I заметил, как кто-то вылезал из окна ее квартиры. Вернувшись во дворец, император призвал к себе обер-полицмейстера и через него велел передать Луниной, чтобы та остерегалась, потому что ночью к ней могут влезть и похитить все, что у нее есть драгоценного. Впоследствии Екатерина Петровна вышла замуж за итальянца графа Риччи, певца, поэта и композитора. Он перевел на итальянский язык стихотворения Пушкина «Демон» и «Пророк».
С этим же домом связаны весьма заметные события в жизни самого Пушкина. В 1827–1830 годах здесь проживало семейство А. Н. Оленина, с которым поэт был знаком с юных лет. Весной 1827 года, вернувшись в Петербург после ссылки, Пушкин возобновил старые связи с гостеприимным домом Олениных. Особенно часто он стал навещать их с весны следующего года. Известно его увлечение в то время Анной Алексеевной Олениной. После неудачного сватовства поэта наступило охлаждение в отношениях с семьей Олениных, и с осени 1828 года он прекратил свои посещения. Наряду с Пушкиным частыми гостями здесь были П. А. Вяземский, А. С. Грибоедов, А. Мицкевич.