У императора были причины подозревать Ермолова в неверности, хотя внешне командующий Кавказским корпусом демонстрировал полную лояльность. Позднее и в разговорах с Пушкиным, и в личном письме Николаю I он настаивал на доверии к нему покойного государя Александра I. Однако его покровительственное отношение к членам тайных обществ, благодушное незамечание их деятельности, дружба с некоторыми из них вызывали серьезное недовольство в Петербурге.
Многие декабристы рассчитывали на помощь Ермолова и в мемуарах даже упрекали его, что после провала восстания на Сенатской площади он не снял свой корпус и не бросил его на Петербург, чтобы установить республику. Ермолова прочили членом Временного революционного правительства. Однако сам Алексей Петрович предпочитал увидеть на троне своего старого сослуживца по походу Суворова в Италию и давнего покровителя цесаревича Константина Павловича. По этой причине командующий Кавказского корпуса «промедлил» с присягой Николаю I. А вскоре, в 1826 г., началась война с Персией, на первых порах крайне неудачная для Ермолова. В столице ходили упорные слухи, что сам же командующий своей политикой среди народов Закавказья и спровоцировал новое столкновение. У молодого императора не было причин доверять Алексею Петровичу, и в 1827 г. тот был смещен с поста. Новым командующим на Кавказе стал П. Ф. Паскевич, который и закончил победой войну с Персией. Но начавшуюся еще в 1817 г., во многом из-за наступательных действий Ермолова, войну с горскими народами Чечни и Дагестана правительству не удавалось завершить долгие годы.
После отставки Алексей Петрович жил то в Орле, то в Москве. На короткий срок вернулся к активной деятельности, назначенный членом Государственного совета, но вскоре подал в отставку, понимая, что на Кавказ ему уже не вернуться. Он писал мемуары, вел обширную переписку с друзьями, оставил богатейшую библиотеку, по завещанию перешедшую к Московскому университету, занимался переплетным делом.
Точность и детальность описаний в мемуарах Ермолова показывают, что они были созданы на основе более раннего дневника. «Записки» охватывают период 1798–1826 гг., однако имеют заметные лакуны, например, опущен рассказ о Заграничном походе русской армии 1813–1814 гг., а также о начале Русско-персидской войны 1826–1828 гг., об обстоятельствах отставки с поста «проконсула» Кавказа.