Благодаря связям отца Алексей еще в детстве был записан в гвардию, в Преображенский полк, но реальную службу начал только в 15 лет, по окончании Благородного пансиона при Московском университете. В 1792 г. он был произведен в капитаны и зачислен в Нежинский драгунский полк.
Через два года Ермолов уже отличился при штурме предместья Варшавы Праги, на него обратил внимание сам А. В. Суворов, который лично представил молодого капитана к ордену Георгия 4-й степени. Позже Ермолов воевал в Италии против французских войск, затем отправился в Каспийский корпус графа В. П. Зубова, направленный против иранской армии Ага Мохаммед-хана Каджара, вторгнувшейся в 1796 г. в Закавказье. После смерти Екатерины II новый император Павел I немедленно прекратил Каспийский поход и подверг его участников гонениям. Для начала Ермолова «задвинули» в провинцию: в Минской губернии он командовал конноартиллерийской ротой, чины шли своим чередом: в 1797 г. Алексей Петрович стал майором, еще через год подполковником.
Но вскоре Ермолова заподозрили в причастности к тайной политической организации, что в какой-то мере было правдой. Его кузен А. М. Каховский создал кружок поклонников Французской революции. Вся деятельность заговорщиков ограничилась сочинением и распространением сатир на Павла I. Ермолова допросили и на два месяца, без суда, заключили в Алексеевский равелин Петропавловской крепости. По выходе из него подполковника отправили в ссылку в Кострому. Чтобы не сойти с ума от скуки, молодой артиллерист самостоятельно выучил латинский и начал читать римскую литературу в подлинниках. Именно «костромскому сидению» Ермолов обязан блестящей «тацитовской» стилистикой своих писем и воспоминаний, которую отмечали многие современники.
Скажем сразу, что тексты Ермолова создавались в те годы, когда литературная норма только вырабатывалась. Причем писались они на родном языке, а не по-французски, как мемуары многих современников. Его мемуары – своего рода языковой эксперимент – попытка обогатить русскую стилистику за счет латинской. Отсюда и необычное порой построение фраз, и некоторая громоздкость конструкций, тяготеющая сразу и к отечественной журналистике XVIII в., и к древнеримским образцам.
Во время ссылки трагическим образом изменился характер Алексея Петровича. Позднее он признавал: «В ранней молодости [Павел I] мне дал жестокий урок». Скрытность, осторожность, умение подстраиваться под сильного, не отказываясь от собственной силы, более того – демонстрируя свою независимость, стали отличительными чертами Ермолова. При этом ему так и не удалось добиться сдержанности языка. Он всегда умел к месту ввернуть острое словцо, ермоловские шутки повторялись и в армии, и при дворе, а его письма и мемуары полны колких характеристик сослуживцев. «Бурная, кипучая натура» не позволяла Алексею Петровичу ужиться ни с равными, ни с вышестоящими. А вот подчиненные его обожали, для них он стал настоящим «отцом-командиром».