В. И. Гурко, достаточно долго и тесно работавший с министром, вспомнил в эмиграции деталь: «маленький, весь из мускулов и нервов». В. М. Андреевский после приема у министра в конце 1905 г. записал: «Этот маленький, крепкий и живой человек, со своей скептической усмешкой и внимательным взором серьезных глаз, произвел на меня успокаивающее впечатление». И. Ф. Кошко, явившись на прием в качестве пензенского губернатора и ожидавший увидеть всесильного и грозного министра, констатировал: «Это был человек маленького роста, с небольшими бачками, одетый в вицмундирный фрак. Говорил он со всеми тихо, с приветливым видом». С некоторым удивлением отметил непритязательность министра в одежде и Д. Н. Любимов: «Петр Николаевич был в старом коротком пальто с потертым барашковым воротником и плоской барашковой шапке». Повседневно общавшихся с П. Н. Дурново министерских чиновников поражала необыкновенная «подвижность, несмотря на его немолодые уже годы»[2].
Совсем иначе повел себя П. Н. Дурново перед графом С. Д. Шереметевым, заехавшим в феврале 1906 г. к министру с явным намерением присмотреться: «Дурново любезен и прост – серьезен и сдержан – не вертляв и не суетлив – не суров и не тороплив – с достоинством и просто себя держит»[3].
И, наконец, П. Н. Дурново – член Государственного Совета: «Человек умный, несколько высокомерный, по внешнему виду – невзрачный: среднего роста, сутуловатый, лет около 70-ти; говорит хорошо, иногда остроумно, но не по-ораторски»[4].
Современники – друзья и враги, при жизни и после смерти – единодушны в оценке его интеллекта: «в высшей степени умный», «человек огромного ума», «замечательно умен», «очень умен», ум «очень тонкий», «немалая умственная сила»; обладает «государственным умом», «исключительным умом»; производит «впечатление вполне рассудительного человека, <…> с задатками художественного стиля, <…> что уже близко к таланту», «был, в полном смысле слова, блестящим самородком»; «замечательно умный и проницательный (равных ему я в этом отношении не видал в жизни)»; отмечали «врожденное у него чутье хода событий», «его ум и остроумие». М. А. Алданову, заинтересовавшемуся личностью П. Н. Дурново и собиравшему в начале 1920-х гг. о нем сведения, эмигранты, правые и левые, в один голос говорили: «Это был умный человек. Это был умница»