В октябре 1753 года Роман Николаевич Державин сумел получить отпуск в свои казанские деревни и в Москву для подачи прошения об отставке из Военной коллегии. В поездку он взял с собой любимого сына Гавриила. У подполковника Державина был твердо намеченный план проехать из Москвы в Петербург и записать своего старшего сына в Сухопутный кадетский корпус или в артиллерию. В Москве знакомые по службе люди предлагали определить мальчика в гвардию, но отцу хотелось более надежно определить судьбу своего первенца. Однако дело об отставке затянулось. Почти все деньги были израсходованы, и пришлось вернуться в Казань, так и не определив сына в кадетский корпус. Вскоре в Казань вернулась из Оренбурга Фёкла Андреевна с младшим сыном Андреем. Семья в ожидании отставки поселилась в своем поместье в Сокурах.
В начале 1754 года был получен указ об отставке Романа Николаевича Державина: «… Сего генваря 14-го дня, по её императорского указу и по определению государственной военной коллегии обще с собранным генералитетом, велено Оренбургского гарнизона Пензенского полку подполковника Романа Державина за имеющимися у него болезнями от воинской и штатской службы отставить вовсе, а за продолжительные службы о награждении полковничьим рангом подать её императорскому величеству всеподданнейший доклад, а до воспоследования о том резолюции он подполковник Державин отпущен в дом его. Того ради в городах и на заставах, команду имеющим, оного подполковника Державина пропускать без задержания. Генваря 31-го дня 1754 года. Генерал-майор Василий Суворов».
В указе было сказано о представлении Романа Державина к награждению «полковничьим рангом». Но он не дожил до этого чина. Давно умерший Роман Николаевич Державин был произведен указом от 26-го июня 1762 года в «чин полковника при отставке». Любопытно, что документ об увольнении от службы подписал отец знаменитого русского полководца Александра Васильевича графа Суворова-Рымникского, с которым у Гавриила Романовича Державина установились многолетние дружеские отношения.
После смерти мужа Фёкла Андреевна осталась с двумя сыновьями и годовалой дочерью на руках в крайней бедности. Деревни никакого дохода не приносили. Даже пятнадцать рублей долга, оставшегося от отставного подполковника, нечем было заплатить. Узнав о смерти Романа Николаевича, соседи-помещики в Сокурах и Кармачах стали притеснять бедную вдову и обижать сирот. Они начали захватывать пограничные с ними земли, а некоторые из них, построив мельницы, затапливали водой державинские луга. Да и что мог им сделать оставшийся за взрослого мужчину одиннадцатилетний мальчик – Гавриил Державин. Его мать, Фёкла Андреевна, вынуждена была вести тяжбу с соседями. Она пыталась защитить владения своей семьи, но в приказах всегда «сильная рука» брала верх. Гавриил Романович на всю жизнь запомнил, каким унижениям подвергалась его мать, посещая судейских чиновников с сыновьями и малолетней дочерью на руках. Она часами стояла с сыновьями у дверей присутственных мест, дожидаясь выхода судей, чтобы подать им свою жалобу. Но Фёкла Андреевна ничего не могла добиться. Судьи проходили мимо, не обращая никакого внимания на бедную вдову с ребенком на руках.