Сокровища, накопленные до него, казались ему неистощимыми. Императрица Екатерина, путешествуя по России, обещала ему посетить Полотняные Заводы, и новые причудливые постройки выросли из земли, чтобы достойно принять высокую гостью. Ничего не пожалели, чтобы разукрасить покои на самый вычурный, роскошный заграничный лад. Гончаровская охота славилась чуть не на всю Россию, а оркестр из крепостных, обученный выписанными маэстро, и в столицах мог бы занять почетное место. Все эти затеи еще покрывались доходами с заводов и имений, пока тяжелый наследственный недуг не обрушился на жену Афанасия Николаевича, Надежду Платоновну, урожденную Мусину-Пушкину. Она сошла с ума, и не сдерживаемый более ее влиянием, он, уже на склоне лет, предался с юношеской необузданностью страсти к женщинам. Казалось, красавица-любовница всецело завладевала его сердцем и волею; он ничего не жалел для малейшей ее прихоти, но случай наталкивал его на другую, и он моментально охладевал, думал только, как бы поскорее сбыть с рук. Подсовывал жениха, если была незамужняя, отписывал дом в Москве или крупную вотчину, и одновременно все пускал в ход, чтобы достигнуть новой цели. Чем намеченный предмет был или притворялся недоступнее, – тем страсть разжигалась сильнее, и соблазняющие жертвы принимали все более крупные размеры. Дома и имения если не раздаривались, то продавались за бесценок в минуту нужды. Из крупного оборотного капитала постоянно делались заимствования, что не могло не повлиять на успешный ход фабрик. Весьма скоро объемистые, из доморощенного полотна, туго набитые золотом мешки, громоздившиеся по углам кабинета владельцев, так привычные взорам гончаровской челяди, успели отойти в область легенды.
У Афанасия Николаевича был только единственный сын, в котором он и жена его души не чаяли. Высокий, стройный, с классически правильными чертами лица, богато одаренный природой, он рос им на радость, окруженный самыми нежными заботами. По повелению императрицы Екатерины, с самого рождения он был зачислен капралом в Конный полк, но эта высокая, по тогдашним понятиям, милость не пришлась по вкусу его матери. Она находила, что единственный наследник крупного майората не может подвергаться тягостям и лишениям, нераздельным с военной службой.
Тщетно рвался Николай Афанасьевич к улыбавшейся ему карьере: мать оставалась непреклонна, и это взбалмошное сопротивление оставило горький след во всей его жизни. Но взамен она приложила все старания, чтобы его домашнее образование было на уровне самых высоких требований того времени. Лучшим доказательством может послужить выдающаяся роль на государственном поприще, выпавшая на долю юных товарищей Гончарова, взятых ею в дом с целью доставить постоянное общество одиноко растущему мальчику. Это были дети многосемейных, бедных помещиков-соседей, выросшие под гостеприимным кровом, разделявшие как занятия, так и забавы юного наследника, определенные потом его родителями на службу, ими избранную.