Равнодушие к людскому мнению Толстой отмечает и в других старших братьях. Это было то, чего он сам в молодости был лишен, стараясь подражать слишком многим, в том числе и братьям. Не потому ли так случилось, что мать не успела оказать на младшего сына заметного влияния, а отцу просто некогда было им заниматься, как и остальными мальчиками?
Единственное, что они точно переняли от отца, – это страсть к охоте.
Причиной смерти отца стало имение Пирогово, которое досталось ему при весьма «романных» обстоятельствах. Толстой в «Воспоминаниях» так описывает это событие:
«Был зимний вечер, чай отпили, и нас скоро уже должны были вести спать, и у меня уже глаза слипались, когда вдруг из официантской в гостиную, где все сидели и горели только две свечи и было полутемно, в открытую большую дверь скорым шагом мягких сапог вошел человек и, выйдя на середину гостиной, хлопнулся на колени. Зажженная трубка на длинном чубуке, которую он держал в руке, ударилась об пол, и искры рассыпались, освещая лицо стоявшего на коленях, – это был Темешов. Что сказал Темешов отцу, упав перед ним на колени, я не помню, да и не слышал, а только потом узнал, что он упал на колени перед отцом потому, что привез с собой свою незаконную дочь Дунечку, про которую уже прежде сговорился с отцом с тем, чтобы отец принял ее на воспитание с своими детьми. С тех пор у нас появилась с широким, покрытым веснушками лицом девочка, моя ровесница, Дунечка, со своей няней Евпраксеей, высокой, сморщенной старухой, с висячим подбородком, как у индейских петухов, кадычком, в котором был шарик, который она давала нам ощупывать».
Имение Пирогово Николаю Ильичу передал его троюродный брат Александр Алексеевич Темяшев перед смертью на весьма выгодных условиях с уговором, что его незаконнорожденная дочь Дуня будет воспитываться в доме Толстых до совершеннолетия. Про Пирогово говорили, что это «золотое дно». Там были конский завод, мукомольная мельница и 472 крестьянские души.
Но когда Темяшева разбил паралич, его сестра и законная наследница Наталья Алексеевна Карякина возбудила судебный процесс против Николая Ильича. Процесс длился долго и закончился печально.
Девятнадцатого июня 1837 года Н. И. Толстой спешно выехал из Москвы в Тулу по какой-то срочной надобности, связанной с пироговским делом. Расстояние между Москвой и Тулой (больше 160 верст) он проделал менее чем за сутки. 21 июня он ходил по государственным учреждениям, а затем отправился на квартиру Темяшева и, не дойдя нескольких десятков шагов, упал и умер. В смерти подозревали его слуг, потому что при мертвом теле не обнаружили денег, которых должно было быть много. Но версия не подтвердилась. Медики, осмотревшие тело, нашли, что Николай Ильич скончался от «кровяного удара».