Дом, построенный дедом на Полотняном Заводе и не отличавшийся изяществом архитектуры, надстраивается, богато отделывается внутри. В архиве Гончаровых сохранилась опись обстановки, посуды и других вещей, в том числе мебель, отделанная бронзой и инкрустациями, люстры фарфоровые и венецианского стекла, дорогие сервизы, фамильное серебро с инициалами Афанасия Николаевича и т. д. Небольшой гостиный гарнитур с Полотняного Завода можно видеть и сегодня в Калужском краеведческом музее.
Парк расширяется, гроты, беседки и статуи украшают его тенистые аллеи. Оранжереи, где выращивались даже ананасы. Конный завод, огромный манеж. Бесконечные пиры и празднества, иногда продолжавшиеся по месяцу и более, следуют один за другим. По зимам Гончаровы жили в Москве в собственном доме и вели такой же расточительный образ жизни.
Афанасий Николаевич был женат на Надежде Платоновне Мусиной-Пушкиной (1765–1835). У них был только один сын Николай, в котором они души не чаяли. Николай Афанасьевич (1788–1861) обладал незаурядными способностями: писал стихи, играл на скрипке и виолончели. Унаследовал он от прадеда и его энергию и деловитость. Образование по тем временам он получил блестящее. Николай Афанасьевич в совершенстве знал немецкий, английский и французский языки. Небезынтересно отметить, что среди французов-гувернеров был и Будри, родной брат Марата, впоследствии учитель французского языка в Царскосельском лицее во времена Пушкина. Надо сказать, что Николай Афанасьевич, не в пример прочим Гончаровым, хорошо знал русский язык. Обычно он писал старшему сыну по-русски, изредка переходя на французский или английский языки.
В 1804 году Николай Гончаров был зачислен в Коллегию иностранных дел и переехал в Петербург.
Прекрасно образованному и одаренному умом и талантами молодому Гончарову были открыты двери всех великосветских гостиных. Там он встретился с красавицей-фрейлиной Натальей Ивановной Загряжской, без памяти влюбился и 27 января 1807 года обвенчался с ней в Петербурге в придворной церкви.
Наталья Ивановна Гончарова (1785–1848) происходила из старинного дворянского рода Загряжских. Отец ее, Иван Александрович Загряжский (ум. в 1807 г.), богатый помещик, служил в Петербурге в гвардии; он был женат на А. С. Алексеевой, от которой имел троих детей. По семейным преданиям, когда однажды полк его стоял в Дерпте, он там влюбился в дочь барона Липгардта, при живой жене обвенчался с ней и привез уже с ребенком к первой жене в свое поместье! Вряд ли это достоверно, но, так или иначе, от этого брака или связи родилась Наталья Ивановна, будущая мать Н. Н. Пушкиной