Поэтому неудивительно, что почти все его дети (а их было 8!), в том числе отец Сергея, обладали прекрасным музыкальным вкусом.
Живя в Петербурге, Дягилевы организовали у себя дома музыкальный кружок: поводом к постоянным собраниям на квартире Павла Павловича стал приезд из Парижа Александры Панаевой – тети Татуси (родной сестры мачехи Дягилева). Она была известной певицей, ученицей Полины Виардо, первой исполнительницей партии Татьяны в опере Чайковского «Евгений Онегин». Французская пресса была в восторге от ее исполнения и предсказывала ей блестящую карьеру, отмечая исключительное драматическое дарование певицы. Пока она гостила у Дягилевых, петербургские меломаны собирались в доме у ее родных, чтобы насладиться пением молодой, но уже известной исполнительницы.
Когда тетя Татуся снова отбыла в Париж, Павел и Елена Дягилевы решили продолжить домашние музыкальные концерты. Павел Павлович, человек весьма энергичный, подошел к делу обстоятельно: приобрел ноты, отдал в переписку партитуры, собрал хор и вскоре эти музыкальные встречи стали регулярными. Проводились концерты в вечернее время по четвергам, поэтому и стали называться «четвергами Дягилевых». Отношение к музыке как к развлечению, а не как к серьезному занятию, равно как и пренебрежение дисциплиной, было полностью исключено. Такой вдумчивый подход лишь способствовал популярности концертов: на «дягилевские четверги» собиралось еженедельно около тридцати человек. Дети Дягилевых, Сережа и его младший брат Линчик (Валентин), по «четвергам» засыпали под хоровое пение и звуки музыки, которые продолжались с девяти вечера до полуночи, а порой заканчивались и позже.
Слухи о дягилевских «четвергах» разносились по городу, и многие желали на них попасть, но допускались туда только исполнители. Забавно, что, когда в очередной раз из Парижа вернулась тетя Татуся, композитор Цезарь Кюи восторженно рассказывал ей о “каких-то Дягилевых” и их музыкальных концертах и советовал с ними познакомиться, даже не предполагая, что Александра Панаева – родная сестра Елены Дягилевой.
Репертуар концертов, за которым следил Павел Павлович и который включал очень разные по сложности произведения, действительно впечатлял. Как и исполнительское искусство постоянных гостей, хотя завсегдатаи домашнего кружка были представителями разных профессий: врачи, юристы, военные, чиновники, студенты, – но всех их объединяла страстная любовь к музыке. Таким образом, родители Сергея были знакомы со всей культурной элитой Петербурга, поэтому, несмотря на то что впоследствии рос он в вдали от столицы, Павел и Елена Дягилевы сумели передать своему сыну очень многое: музыкальное воспитание, вкус и, конечно же, связи.