Маленький Иван рос в семье вместе с братом – Федором (1905–1990), а также с сестрами Неонилой (1910–1963) и Елизаветой (1924–1996), для которой уже довольно взрослый брат Иван стал опорой в жизни после преждевременной смерти отца. Елизавета Павловна вспоминала:
«Отца нашего, Павла Петровича, не стало еще раньше, в тридцать шестом. Он работал каменщиком на трубном заводе, пользовался авторитетом. Всем заводом отца и хоронили на Крещение – как раз воду святили. Это мне врезалось в память. А умер он при загадочных обстоятельствах. Подхватил легкую простуду, и врач-окулист (почему-то окулист) дала порошок, после которого отец почувствовал боль и спазмы внутри. Быстро и умер, будто сгорел. Говорили, отравился. Но никто ничего не расследовал, да и не помню, чтобы мы куда-то пожаловались – жили и без того в отчаянии. Ваня уже был осужден, следовательно, „враг народа“… Старше почти на двадцать лет, чуткий, внимательный, он был мне отцом: купит что-то или кто-то ему что-то даст, угостит, Ваня все – мне! Он и маму жалел, заботился о ней очень. Федор с женой жил отдельно, во второй половине из трех комнат, а остальные – две – занимали мы: мама, Ваня и я».
Федор Павлович Лозовягин, по воспоминаниям жителей Ахтырки, был известным в округе охотником и рыбаком. Он приобщал к любимому делу и своего младшего брата Ивана – будущего знаменитого писателя. Иначе каким бы образом появились яркие и детальные описания охоты в романах «Тигроловы» и «Сад Гефсиманский»?
Первые годы детства Иван жил на Полтавщине, в селе Куземин, у Кривуш. Там он любовался неповторимой украинской природой и до боли в душе полюбил эту землю. Неподалеку от Куземина сохранились остатки древнего вала – Бельского городища, который является исторической достопримечательностью скифских времен.
После «сельского детства» парень оказался в Ахтырке. Этот переезд занял немного времени: от Куземина до Ахтырки расстояние – 30–40 километров. Ахтырка слыла казацким городом: в 1655–1658 годах она была центром Ахтырского слободского полка, позже переведенного в гусарский. По количеству населения (5000 человек) это был третий казацкий слободской полк – после Сумского и Харьковского.
Наблюдая за работой отца, искусного каменщика, маленький Иван научился уважать труд простых людей, преображающий города и села, улучшая их жизнь. Уже взрослым он споет оду трудолюбивым мозолистым рукам – искренне, не по конъюнктурному запросу. В одном из своих поэтических сборников – «В поте лица» – Иван Багряный напишет уважительное и душевное посвящение отцу: