Сироты остались на попечении той бабушки, которая делала руками такие великолепные мыльные пузыри и воспоминание о которой тесно сливалось в душе ребенка с воспоминанием о солнечном осеннем дне, горьком и приятном запахе орешника и хрустении сочных, ядреных орехов. Но и она пробыла с ними недолго. Был какой-то праздник. Маленькие Толстые устроили у себя в комнате веселую потеху: они жгли в ночных горшках бумагу и восхищались этим. И вдруг среди этого веселья в комнату входит их француз-гувернер, Проспер С. Тома, и, не обращая никакого внимания на глупости ребят, с дрожащей нижней челюстью говорит:
– Ваша бабушка умерла!
«… Помню потом, как всем нам сшили новые курточки черного казинета, обшитые белыми тесемками плерез, – рассказывает Толстой. – Страшно было видеть и гробовщиков, сновавших около дома, и потом принесенный гроб с глазетовой крышкой, и строгое лицо бабушки с горбатым носом в белом чепце и белой косынкой на шее, высоко лежащей в гробу на столе, и жалко было видеть слезы тетушек и Пашеньки, но вместе с этим и радовали новые казинетовые курточки с плерезами и соболезнующее отношение к нам окружающих. Помню, как мне было приятно подслушать разговоры каких-то чужих кумушек о нас, говоривших: „круглые сироты – только отец умер, а теперь и бабушка…“.
Отец очень поправил дела деда, но тем не менее состояние их оставалось довольно запутанное, как это было большею частью в помещичьих семьях. Ради экономии часть семьи, меньших, снова отвезли в Ясную, где и стали они жить под надзором доброй тетушки своей Татьяны Александровны, немцев-гувернеров и семинаристов-учителей. Опекуншей над ними была назначена другая их тетушка, графиня А. И. Остен-Сакен.
Семейная жизнь ее была исключительно тяжела: сумасшедший муж, который раз покушался на ее жизнь и серьезно ранил ее, смерть первого и единственного ребенка и одиночество. Толстой так характеризует ее: «Тетушка эта была истинно религиозная женщина. Любимые занятия ее были чтения жития святых, беседы со странниками, юродивыми, монахами, монашенками, из которых некоторые жили всегда в нашем доме, а некоторые только посещали тетушку. В числе почти постоянно живших у нас была монахиня Марья Герасимовна, крестная мать моей сестры, ходившая в молодости странствовать под видом юродивого Иванушки. Крестною матерью сестры Марья Герасимовна была потому, что мать обещала взять ее кумой, если она вымолит у Бога дочь, которую матери очень хотелось иметь после четырех сыновей. Дочь родилась, и Марья Герасимовна была ее крестною матерью, и жила частью в тульском женском монастыре, частью у нас дома.