В феврале 1816 года, выйдя в отставку (формально по болезни), он женился, вернулся в своё имение, занялся сельским хозяйством и за шесть лет стал отцом троих сыновей и одной дочери. Что-либо рассказать о его интересах, характере и мировоззрении, равно как о личностных особенностях его супруги, скупые архивы, естественно, не могли. Известно лишь, что спустя примерно четыре года после рождения четвёртого ребёнка отставной гусарский офицер сочетался повторным браком. Поскольку в те времена, тем более в глухой провинции, о разводах и не помышляли, тогда как родильная горячка и прочие женские напасти слыли страданиями весьма заурядными, надо полагать, что первая спутница его жизни скончалась после четвертых родов.
В рукописной грамоте о занесении его вместе с потомством во вторую часть дворянской родословной книги Саратовской губернии ничего не говорилось ни о судьбе его первой жены, ни о времени и месте заключения нового брачного союза. Там было сказано только одно: вторым браком Антон Сергеевич Захарьин сочетался с дочерью надворного советника Григория Геймана Людмилой Григорьевной, от коей к 1833 году имел троих детей – Елизавету 6 лет, Григория 3 лет и Сергея 2 лет.7
Отец второй супруги отставного штабс-ротмистра, Гейман (Heimann) Григорий (Hertz, Heinrich-Gregor) Ефимович (1771–1843), был уроженцем Германии и обладателем врачебного диплома одного из немецких университетов. После защиты докторской диссертации он принял предложение правительства Российской империи, приглашавшего европейских врачей для оказания медицинской помощи больным и раненым солдатам, и приехал в Вильно то ли на исходе XVIII века, то ли в самом начале 1802 года. Там он состоял врачом при Виленском почтамте и директором оспопрививательного института, был членом-учредителем Виленского медицинского общества, а в местном университете читал лекции по патологии, изданные потом под заглавием «Pathologiae Medicae Elementa» (Wilno i Warszawa, 1811).
Поскольку один из его сыновей, 1802 года рождения, в возрасте 15 лет поступил в Московский университет, можно полагать, что семья Геймана перебралась в Москву не позднее 1817 года. Где он проживал и в каком учреждении служил после переселения, неизвестно. Согласно его официальной биографии, он стал консультантом Мариинской больницы для бедных и удостоился в конце концов чина надворного советника (равнозначного армейскому рангу подполковника). Однако в списке сотрудников этой больницы со дня её основания в 1806 году его фамилия отсутствует.