В 1887 году «желая, чтобы малолетние дети мои чаще присутствовали при богослужении и приобщались Святых Тайн», Шереметев получил от Синода разрешение устроить в доме небольшой храм и молодой зодчий Гавриил Васильевич Барановский разместил домашнюю церковь над парадной лестницей, отделав её в русском стиле.
Граф Александр Дмитриевич Шереметев руководил Певческой капеллой, содержал Придворный симфонический оркестр и хор, состоящие из 70 музыкантов и 40 певцов, устраивал бесплатные общедоступные концерты с серьезной программой и даже сам сочинял духовную музыку. А ещё он остался в памяти потомков как большой энтузиаст пожарного дела. В своём имении Ульянка граф создал пожарный отряд, оснащённый самой передовой техникой, а также издавал журнал «Пожарный» – так иногда, за глаза, называли и самого Александра Дмитриевича.
В советский период, в 1934 году, бывший особняк Шереметева получило в пользование ленинградское отделение Союза советских писателей. Этот уютный дом стал местом общения литераторов – здесь проводили общие собрания, творческие вечера, отмечали юбилеи и «прорабатывали».
Из воспоминаний Сергея Анатольевича Попова – депутата первого демократического Ленсовета, созванного в 1989 году:
«Во все послевоенные времена этот дом был центром реакционных сил, которые травили Зощенко, Ахматову, Бродского. Наиболее ярко Ленинградское отделение Союза советских писателей проявило себя в эпоху «перестройки» в 1980-х годах, когда группа «Содружество» во главе с Марком Любомудровым в борьбе с ленинградскими писателями «русофобами» заявила о создании писательской организации Ленинградской области, противопоставив себя даже руководству КПСС. Под флагом сохранения национальных патриархальных традиций писатели «русофилы», рядящиеся в патриотов, подвергали критике те «расшатывающие устои» либеральные ценности, идущие с чуждого им запада, которые пытался привить нации тогдашний лидер страны М.С. Горбачев. Этот штаб сопротивления перестройке стал всероссийским центром объединения творческих и партийных консервативных кругов страны. Их активно поддержали ряд известных писателей «деревенщиков»: Валентин Распутин, Василий Белов, Владимир Солоухин. Они были идеологами выделения российской организации из Союза советских писателей, российской компартии – из всесоюзной партии коммунистов КПСС, российской республики – из Советского Союза, что стало серьезным шагом в развале СССР.