Многие свои черты П. П. Дягилев передал своему сыну, его маске-лицу. Но благодушному и веселому «кавалергардскому Юлию Цезарю» не удалось заслонить в своем сыне деда, личности в высшей степени сложной, интересной и оригинальной. Человек страстный, порывистый, не знавший удержу ни в каких увлечениях, дед Сергея Павловича, до своего нравственного кризиса, происшедшего в 1855 году (когда ему было сорок семь лет), умел сочетать в себе громаднейшую эмоциональность и жизненность с аскетическими стремлениями, сибарита, монаха, эпикурейца и «фуфырку». Так, «фуфыркой», называл его начальник в Министерстве финансов, граф Киселев, за его строптивый и непоседливый дух.
«Павел Дмитриевич Дягилев, – рассказывает его внук, П. Г. Корибут-Кубитович, – был человек особенный. Он происходил из старинного рода московских дворян, окончил военное инженерное училище в Петербурге, но недолго был офицером и скоро перешел на службу в Министерство государственных имуществ к известному графу Киселеву; на этой службе он также недолго оставался и покинул ее из-за пустого разногласия (дед, как и внук его, Сергей Павлович, не мог по самой природе своей служить и подчиняться дисциплине). В ту пору Павел Дмитриевич был весельчак, играл отлично на рояле, гордился тем, что был учеником известного в то время профессора Фильда, был прекрасным семьянином – у него была большая семья, состоявшая из восьми детей. Выйдя в 1850 году в отставку, он поселился в пермском имении Бикбарда. После отца он получил большое состояние – около пятнадцати тысяч десятин в Осинском уезде Пермской губернии и в смежном Бирском уезде Уфимской губернии, тоже с прекрасною усадьбою; в каждом имении было по большому винокуренному заводу. В Перми, на главной улице, был громадный дом с тридцатью комнатами, с большим флигелем, садом и громадным двором, обрамленным конюшнями, каретными сараями, ледниками и проч. Дед жил полгода в усадьбе, а семья оставалась в Петербурге, так как детям надо было давать образование.
Дед был широких взглядов. В Петербурге, где жила его постоянно увеличивавшаяся семья, вся прислуга была наемная, так как дед не хотел иметь дворовых крепостных и к крестьянам относился всегда доброжелательно и гуманно. Когда начались реформы Александра II, дед был выбран землевладельцами Пермской губернии депутатом в знаменитый комитет по освобождению крестьян и тогда чаще и дольше живал в Петербурге, где у Дягилевых был на Фурштатской улице большой дом с флигелями; дом был трехэтажный, и два этажа занимала в нем семья Дягилевых.