Павел Дмитриевич оказался прекрасным хозяином, и при его умелом управлении, после перестройки и оборудования винокуренных заводов, дела пошли блестяще, и дед из очень состоятельного человека превратился в богача».
Но чем больше П. Д. Дягилев богател, тем меньше начинал ценить богатство и вообще земные блага. Он сблизился с монахами, и его жена обвиняла их в перемене, происшедшей с ним: «Они ему вбили в голову, – говорила она, – что не надо иметь никакой привязанности к земле. Он, кажется, бедный, и сам этому не рад, видно, как он борется с собой, потому что от природы добр и имеет любящее сердце».
Иначе, и гораздо более убедительно, объясняет перемену в деде Дягилева Е. В. Панаева-Дягилева, рассказывающая в своих интересных воспоминаниях[4]: «Началом драмы Анна Ивановна (жена П. Д. Дягилева) считала следующий эпизод, случившийся, как она сама определяла, „в год свадьбы Ноночки“, старшей их дочери Анны, вышедшей замуж в 1855 году за Владимира Дмитриевича Философова, одного из лучших людей на свете.
Эпизод произошел в Петергофе. Нанята была большая, великолепная дача, бывшая Рубинштейна, и поныне существующая. Вся семья переехала туда на лето, начиная с молодых Философовых и кончая грудным ребенком Юленькой, меньшой из всех детей. Кроме девятерых своих детей, было еще пятеро Быковых (сироты, оставшиеся после старшей сестры Анны Ивановны и выросшие все на попечении Павла Дмитриевича). Тут же гостили двое сыновей графа Федора Петровича Литке, двоюродные братья Анны Ивановны, но по годам сверстники ее детей.
Гувернеры, гувернантки и бонны увеличивали многочисленность компании. Анна Ивановна всегда очень подчеркивала в этом рассказе, как много было у нее народу на руках, чтобы дать полное понятие о своем затруднительном положении, когда, в одно прекрасное утро, Павел Дмитриевич уехал в город, в казначейство, за деньгами и не вернулся ни на следующий день, ни на третий, ни на четвертый день. Зная, что он должен был получить порядочную сумму денег, ей приходила мысль, не ограбили ли его, не убили ли его.
Ждала она, ждала… нет, как нет мужа. Тогда она отправилась в город, что по тем временам составляло настоящее маленькое путешествие, и узнала у себя дома, от дворника, что барин действительно приезжал, но что к нему пришел какой-то рыжий хромой монах, с которым он и уехал неизвестно куда.