Далее он был послан на Юг «для борьбы с контрреволюцией»: воевал против Добровольческой армии, участвовал в карательных акциях против донских казаков. Его друг Киквидзе назначил Железнякова командиром полка в своей дивизии.
Во время восстания левых эсеров в Москве в июле 1918 года Железняков выразил им сочувствие и выступил за уничтожение Совнаркома как органа власти. Затем у него начался конфликт с Подвойским, который закончился приказом об аресте Железнякова. Вскоре Железняков был обвинен в крушении поезда Подвойского и объявлен вне закона. Он бежал из-под расстрела и с помощью левых эсеров скрылся в Тамбове. В ноябре 1918 года его направили на подпольную работу в Одессу. Там действовал совместно с боевой дружиной Котовского, с которым тесно сблизился. В это время «матрос Железняк» участвовал в террористических актах, в налетах на банки и грабежах местных жителей. Оставив для истории легендарную биографию, А. Г. Железняков, также как и его товарищи по совместной подпольной борьбе, стал организовывать мирную жизнь в городе. Он был избран председателем профессионального союза моряков торгового флота и с огромным энтузиазмом взялся за работу на совершенно новом для себя участке работы.

Памятник «матросу Железняку» в Ногинске
Вместе с тем А. Г. Железняков стал настойчиво добиваться отправки на фронт. Он выдвинул план, согласно которому в экстренном порядке необходимо отремонтировать находящиеся в железнодорожном депо два бывших белогвардейских бронепоезда и отправиться на фронт на помощь Красной армии. Получив согласие начальства, А. Г. Железняков лично контролировал ход ремонта бронепоезда. В мае 1919 года Одесса торжественно провожала на фронт бронепоезд имени Худякова, командиром которого был назначен А. Г. Железняков.
Бронепоезд прибыл в Кременчуг, где располагался штаб 14-й армии, и был включён в состав этой армии.
25 июля 1919 года А. Г. Железняков получил приказание выдвинуться на бронепоезде в район Екатеринослава и прикрыть отступление пехотных частей от преследования их белогвардейской конницей. К тому времени белоказаки захватили станцию Верховцево, отрезав для бронепоезда маневр отхода в западном направлении.
А. Г. Железняков принял рискованное, но единственно правильное решение, чтобы избежать захвата бронепоезда белогвардейцами: дать полный ход и проскочить через занятую противником железнодорожную станцию. Бронепоезд преодолел вражеский заградительный огонь и пронёсся через станцию Верховцево. А. Г. Железняков вёл огонь по врагу сразу из двух пистолетов, высунувшись по пояс из командирской рубки. В самый последний момент, когда опасность, казалось, миновала, шальная пуля сразила отважного командира. Рана в область грудной клетки оказалась смертельной, и 26 июля 1919 года А. Г. Железняков, не приходя в сознание, скончался.