Старшему из семерых детей – десятилетнему Андрею пришлось взять на себя заботу о семье. Вначале он был пастухом, потом трудился на мельнице, а позже – на маслобойном заводе. Довелось ему поработать и на военном конном заводе в городе Деркул Старобельского уезда Харьковской губернии. В родной Марковке Андрей окончил четыре класса сельской школы, а затем уехал в Луганск, устроился на работу на паровозостроительный завод, поступил в школу при заводе.
В ноябре 1913 года, когда ему исполнился 21 год, Андрея призвали на действительную службу в Русскую императорскую армию рядовым в дислоцированный в Киеве 168-й пехотный Миргородский полк. В следующем году разразилась Первая мировая война и Андрей со своим полком, входившим в состав 42-й пехотной дивизии, выступил на фронт. Но едва попав на передовую, рядовой Еременко сразу увидел смерть, досыта хлебнул солдатской каши. В первом же бою погиб командир взвода, и Андрей принял командование взводом, чувствуя, что способен вести солдат вперед. О своем первом бое во время Галицийской битвы на Юго-Западном фронте он вспоминал, будучи уже маршалом: «В ночь на 31 августа 1914 года на Туркоцинских высотах мы подошли вплотную к противнику и под его огнем окопались. Случилось так, что, ворвавшись в окопы, я оказался лицом к лицу с отделением противника. Австрийцев было человек одиннадцать. Мое счастье, что в узком окопе они не могли навалиться на меня все сразу. Я был разъярен, не помнил себя от огромного физического и морального напряжения, стрелял, действовал штыком и прикладом.
Подоспевшие бойцы взвода помогли мне справиться с наседавшими австрийцами. Помню, как сейчас, взвод под моей командой по условленному сигналу поднялся в атаку в 9 часов утра. Сначала мы двигались ускоренным шагом, затем побежали. Неприятно пели пули и визжали снаряды. И вот уже атакующий взвод с криком ура в злобной ярости ворвался во вражескую траншею. Началась рукопашная. Страшное зрелище, когда неприятели всаживают друг в друга штыки. Я не помню, сколько на моем счету было убитых немцев. Командир должен был служить примером для солдат, и я эту заповедь выполнял. Русские были мастерами штыкового боя. В рукопашной мы всегда побеждали. Так было и на этот раз. Но мне не повезло. В третьей траншее противника выстрелом в упор я был тяжело ранен, пуля прошла насквозь и задела легкие. Атака 31 августа 1914 года запомнилась на всю жизнь»