. Молодая баронесса вскоре умерла, а жена Загряжского приняла девочку в свою семью, ничем не отличала от своих детей и впоследствии наравне с остальными оставила ей наследство.
Вскоре после женитьбы Н. А. Гончаров оставляет Петербург и переводится на службу в Москву. Вероятно, это было вызвано необходимостью быть поближе к Полотняному Заводу.
К тому времени давно начавшийся разлад между родителями Николая Афанасьевича достиг решающей фазы: они разъехались. Хотя дела Афанасия Николаевича уже сильно пришли в упадок, однако он не оставлял своих привычек и продолжал вести расточительную жизнь. Надежда Платоновна долго сдерживала сумасбродства своего супруга, но, в конце концов, не выдержала и в 1808 году уехала с Полотняного Завода и поселилась в собственном доме в Москве. Впоследствии Афанасий Николаевич выделил ей отдельный капитал в 200 тысяч рублей и таким образом навсегда отделался от мешавшей ему жены.
Расставшись с женой, Афанасий Николаевич уехал надолго за границу, и молодой Николай Афанасьевич за несколько лет сумел значительно поправить расстроенные отцом дела. В 1812 году, когда началась Отечественная война, Николай Афанасьевич отвез свою семью к родственникам жены в Тамбовскую губернию, подальше от Калуги, к которой приближался неприятель.
Афанасий Николаевич поспешил вернуться на родину.
Война почти вплотную подошла к гончаровским владениям. На Полотняном Заводе некоторое время стоял сам фельдмаршал Кутузов с войском. Комнаты, в которых он жил, потом получили название «кутузовских». Неприятель до Полотняного Завода не дошел: под Малоярославцем французы были разбиты наголову, и началось паническое бегство наполеоновских войск из России.
По-видимому, летом 1813 года семья Николая Афанасьевича возвратилась на Полотняный Завод. Вскоре Афанасий Николаевич отстранил сына от управления предприятиями. Старик привез из-за границы любовницу-француженку, и ему нужно было бесконтрольно распоряжаться деньгами. Он требовал от семьи всяческих знаков внимания к своей любовнице. Атмосфера в доме сложилась нетерпимая, и Николай Афанасьевич уехал в Москву, оставив временно семью на Полотняном Заводе. Как долго оставались они там – точно неизвестно. Во всяком случае, в начале 1814 года они были еще на Заводе – об этом свидетельствует письмо Николая Афанасьевича к отцу и жене от 20 февраля 1814 года