Мать Ермолова, Мария Денисовна, урожденная Давыдова, была первым браком за дворянином Михаилом Каховским и родила ему сына Александра – единоутробного брата Алексея Петровича. Это родство и дружба со старшим братом сыграли в судьбе будущего проконсула Кавказа сильную и сложную роль. Все, кто упоминает о Марии Денисовне, аттестуют ее как женщину незаурядную, с характером прямым и жестким, острую на язык.
Она была родной теткой знаменитого Дениса Васильевича Давыдова, который, таким образом, приходился Ермолову двоюродным братом.
Однако сколько-нибудь заметных следов деятельного участия матери в судьбе сына не зафиксировано ни современниками, ни позднейшими биографами.
Об отце Ермолова Петре Алексеевиче мы знаем гораздо больше. Один из основных биографов Алексея Петровича генерал В. Ф. Ратч суммировал имеющиеся сведения: «Петр Алексеевич был из небогатых дворян Орловской губернии и пользовался общим уважением за свой ум, редкую прямоту души и многосторонние сведения. В чине статского советника он был награжден Владимирскою 2-ой степени звездою и служил при родном племяннике князя Потемкина-Таврического графе Самойлове, впоследствии генерал-прокуроре – звание, которому в то время была подчинена администрация почти всей внутренней гражданской части государства».
Петр Алексеевич Ермолов родился в 1746 году. Девятилетним был зачислен сержантом в артиллерию, действительную службу начал в 16 лет и вышел в отставку в 1777 году, в год рождения нашего героя, с чином майора артиллерии. Затем, после длительного периода статской службы, занял пост правителя канцелярии генерал-прокурора Сената, чья власть могла сравниться с властью премьер-министра.
Граф Александр Николаевич Самойлов был храбрым и толковым боевым генералом. Но своей высокой государственной должностью он обязан был в первую очередь близкому родству с Потемкиным.
Мощный родственный клан Потемкиных-Самойловых-Давыдовых-Раевских сыграл определяющую роль в судьбе юного Алексея Петровича Ермолова.
О своем детстве Алексей Петрович вспоминать не любил. Оно и понятно. Судя по всему, суровые родители не баловали его. По скромности своего состояния они не могли нанять сыну учителя, и первые уроки грамоты мальчик получил от дворового, познакомившего его с букварем.
По обычаю того времени Алексей был отдан богатым дальним родственникам Щербининым, в доме которых обучался вместе с их племянником.