Осенью 1918 г. Андрей Григорьевич поехал в свое имение Холомки Порховского уезда Псковской губернии навестить семью, но 13 октября того же года на станции Дно был арестован. Вслед за ним, через несколько дней, была арестована Мария Дмитриевна. Тогда он решился на крайнее средство и довел до сведения Совета Народных Комиссаров о своем тяжелом положении, а также ходатайствовал о разрешении ему проживать с семьей и работать в Холомках (тогда «Народном Доме им. тов. Ленина»), наезжая для сдачи проектов в Москву. В ответ он получил бумагу от 20 января 1920 г. за собственноручной подписью В. И. Ульянова (Ленина) следующего содержания:
«Предъявителю сего инженеру Андрею Григорьевичу Гагарину разрешаю проживать в Псковской губернии, Порховском уезде, Шевницкой волости в Народном доме моего имени, в Холомках. Прошу местные власти Гагарина не беспокоить, в заложники не брать, вещей не реквизировать и давать ему керосину необходимое количество для его занятий, которые я считаю для Республики полезными».
Перенесенные несчастья сказались на здоровье Андрея Григорьевича. Давнишняя его болезнь, грыжа, обострилась, явилась необходимость операции. Андрей Григорьевич в декабре 1920 г. решился на нее, перенес ее хорошо, без наркоза, хотя она оказалась гораздо сложнее, чем ожидалось. Однако его сердце, испытавшее за последние годы столько треволнений, не выдержало, и на седьмой день после операции в Порховской больнице Андрей Григорьевич скончался. Похоронили его на погосте Вельское Устье под развесистым дубом. На его надгробном памятнике, пропавшем в годы войны, после имени было высечено: «Блаженны чистые сердцем, ибо они Бога узрят».
У Андрея Григорьевича и Марии Дмитриевны Гагариных было шестеро детей: пять сыновей – Андрей, Сергей, Лев, Григорий, Петр – и дочь Софья. Машинописные копии записок Дмитрия Александровича Оболенского были у нескольких его внуков, возможно даже – у всех. Обстоятельства появления этих копий – кто и когда заказывал их перепечатывать с рукописи – неизвестны. О месте хранения самой рукописи и ее судьбе также ничего неизвестно. В результате в семье Гагариных – потомков Д. А. Оболенского – сохранились четыре переплетенных тома одной из машинописных копий «Записок», которые и публикуются в данном издании.
Судьбы детей А. Г. и М. Д. Гагариных, внуков Д. А. Оболенского, сложились по-разному.