Арсеньева являла собой типичную помещицу старого закала: важная, умная, прямой решительный характер и привычка повелевать.
Через три месяца после смерти дочери она поехала в Киев к святым угодникам, где надеялась смягчить свое горе молитвами в Киево-Печерской лавре. Оставить внука на няню не решилась, и целым обозом двинулись в путь. В Киеве были недолго, в начале июня вернулись в Тарханы. А в это время Столыпины дружной семьей двинулись на Кавказ, где в гарнизоне возле Кизляра проживала одна из сестер Елизаветы Алексеевны. Кроме того, отец Арсеньевой владел богатым имением Ново-Столыпинское под Пятигорском, где можно было прожить целое лето с полным комфортом.
По дороге скончался Алексей Емельянович. Новое горе – потеря отца – обрушилось на Елизавету Алексеевну!
Оставаться в Тарханах ей стало невмоготу. Приказала управляющему продать на вывоз дом, в котором умерли муж и Машенька, поставить на его месте церковь, а новый дом строить поблизости. Уехала в Пензу, остановившись там у сестры Натальи. Затем подыскала себе квартиру.
О Пензе того времени Сперанский писал: «Прелестная Пенза держит меня в очаровании. В Петербурге служат, а здесь – живут».
Общество в Пензе было разнообразным: наряду с пустотой и праздностью жили и работали люди высокообразованные. Незаурядным человеком был Афанасий Гаврилович Раевский, с тещей которого Арсеньева вместе воспитывалась, а в 1808 году крестила ее внука Святослава. «…Эта связь сохранилась и впоследствии между домами нашими», – писал в 1837 году Святослав Раевский, которому суждено было стать ближайшим другом Михаила Лермонтова и оказать влияние на его литературные интересы. В Пензе он часто бывал у Арсеньевой, мог наблюдать за маленьким Мишей. Его удивляло, что мальчик трех лет говорит в рифму и пытается мелом рисовать на полу.
В Пензе Арсеньева пробыла около восьми месяцев, затем вернулась в Тарханы. Здоровье внука было все еще очень неровным. Заботливость бабушки доходила до невероятия: каждое слово Миши, каждое его желание было законом не только для окружающих или знакомых, но и для нее самой.
Летом поехала на Кавказ – и не напрасно, после Кавказа мальчик стал чувствовать себя лучше. Осенью, по дороге в Тарханы, еще раз побывала в Киеве. Мише исполнилось четыре года. В Тарханах тем временем достроили домовую церковь на месте, где скончались Михаил Васильевич и Мария Михайловна. Освящали ее уже по приезде Арсеньевой.