Отец – Пётр Алексеевич, был владельцем небольшого имения в 150 душ крестьян в Мценском уезде Орловской губернии.
Мать Ермолова – Давыдова Мария Денисовна. По матери Ермолов находился в родстве с Давыдовыми, Потемкиными, Раевскими и Орловыми. Знаменитый поэт, мемуарист, партизан, герой Отечественной войны 1812 г., генерал-лейтенант Денис Васильевич Давыдов приходился Ермолову двоюродным братом. Предок Давыдовых также родом из Золотой Орды – выехавший к великому князю Василию Дмитриевичу (сыну Дмитрия Донского) Минчак Косаевич, крещенный Борисом Симеоном. Его внук Давыд (по другим данным, сын) Иванович стал родоначальником Давыдовых [31, с. 96—98]. Мурза Минчак Косаевич якобы был потомком Чингисхана в 13-м колене.
Загряжские ведут род от выехавшего к великому князю Дмитрию Донскому ордынца, «свойственника царя ордынского», по имени Исахара, в крещении названного Гавриилом. Сын его, Антоний Гаврилович, служил наместником можайским при великом князе Василии Дмитриевиче и первый стал писаться Загряжским [151, с.270].