От избытка чувств Федор не мог говорить. Он лишь обнял Авдотью и стал нежно целовать ей руки. А после того как расплатился с долгом, они обвенчались.
Некоторые знакомые не признавали его жену. Для чванливых представителей высшего света его брак был непростительным мезальянсом, и вокруг Федора образовалась непривычная пустота. Семейная жизнь его тоже складывалась трагично: дети его умирали в младенчестве. Толстой твердо уверовал, что Бог наказывает его за грехи молодости. После смерти первенца он даже наложил на себя епитимью: не пить полгода. Держался он стоически и только раз, когда после холостой пирушки к нему приехал один из приятелей, Федор попросил:
– Дыхни на меня, хоть винца понюхаю.
Но епитимья не помогла. Дети продолжали рождаться и умирать. Тогда Федор Иванович завел синодик, в котором выписал имена убитых им на дуэлях. После смерти каждого своего ребенка он вычеркивал имя очередного убитого и сбоку писал «квит». Так у него умерло 11 детей, в том числе и любимая дочь Сара. Полностью заплатив дань Всевышнему, он тяжело вздохнул и сказал:
– Слава Богу, хоть мой цыганенок будет жить. И действительно двенадцатый его ребенок – Наташа дожила до глубокой старости. Ф.Толстой стал глубоко верующим, часто ходил в церковь, а когда почувствовал приближение смерти, позвал священника. Исповедь продолжалась несколько часов. Батюшка был поражен искренним раскаянием и верой в милосердие Божие.
Похоронили Федора Ивановича Толстого на Ваганьковском кладбище.