Дед Толстого по материнской линии, князь Николай Сергеевич Волконский, родился в 1753 году, а скончался в 1821-м, когда его единственная дочь Мария еще не вышла замуж. Таким образом, деда Толстой не знал. Сама Мария Николаевна ушла из жизни в 1830 году, когда ее сыну не было и двух лет. Свою мать Толстой не помнил и даже не видел ее изображения, потому что она не любила позировать художникам. Сохранился лишь ее силуэт из черной бумаги, сделанный в девятилетнем возрасте.
Тем не менее Волконские оказали сильное влияние на Толстого. Влияние деда было аристократическое. Всё, что Толстой видел и слышал в Ясной Поляне, напоминало ему о нем: и спланированный ландшафт усадьбы, и капитальные хозяйственные постройки, и большой дом с двумя флигелями в итальянском стиле, и рассказы крестьян и дворовых о старом хозяине. Толстой гордился дедом и в молодости пытался подражать ему. В повести «Дьявол» о главном персонаже, прототипом которого был автор, говорится: «Самые обычные консерваторы это – молодые люди. Так было с Евгением. Поселившись теперь в деревне, его мечта и идеал были в том, чтобы воскресить ту форму жизни, которая была не при его отце… а при деде».
Почему-то Толстой очень любил легенду, что Волконский в молодости отказался жениться на племяннице и любовнице князя Потемкина Вареньке Энгельгардт: «С чего он взял, чтобы я женился на его б…»
В царствование Екатерины II князь Волконский стремительно поднимался по служебной лестнице. Записанный в армию семилетним мальчиком, он в 27 лет в чине капитана гвардии находился в свите Екатерины II во время ее свидания с австрийским императором Иосифом II в Могилеве. Майор, полковник, бригадир, генерал-майор… В 1793 году он был назначен послом в Берлин. Затем находился при войсках в Польше и Литве.
Опала началась с воцарением Павла I, который с особой строгостью относился к офицерам, выдвинувшимся при его матери. В 1797 году, будучи шефом (покровителем) Азовского мушкетерского полка, Волконский был уволен со службы за отказ явиться на инспекторский смотр, назначенный императором. Боевой генерал (а он принимал участие во взятии Очакова) был уязвлен оказанным недоверием царя и сказался больным.
«Не думаю, однако, чтобы это очень его огорчило, – считает сын писателя Сергей Львович Толстой. – Не с ним одним так поступил Павел, а общественное мнение того общества, к которому принадлежал Волконский, было за него…»