Чтобы как-то прокормить большую семью, Ефим Дмитриевич обменял свой хороший дом на домишко весьма невзрачный, но при этом взял в придачу 12 пудов зерна-суррогата. Большая семья выживала довольно нелегко в условиях разрухи, голода, политической нестабильности, приносившей страдания простым людям. Приходилось и Петру с матерью из своего села ходить за 30–40 верст на хутора, чтобы принести немного муки, жмыха или какой-нибудь еды. В один из таких походов их настиг в пути буран и они буквально чудом выжили. Вспоминал Шелест и о том, как ему доводилось ездить на станцию Яма за солью: «Пуд соли на двух узлах через плечо, верхом на буфере между вагонами – таков в основном был наш транспорт. Сколько погибло людей, в том числе и моих сверстников, под колесами железнодорожных вагонов! Но соль – это была ценность, на нее можно было выменять хлеб, зерно. Голод заставлял, гнал из дома в поисках спасения от голодной смерти».
Зиму 1919 года семья пережила, все остались целы, однако ранней весной Петр вместе со старшей сестрой Марией отправился на заработки за 95 верст от родного села. Работали они в одном из первых совхозов, организованных на Полтавщине. Обязанностью мальчика было пасти свиней и коров. Потом он стал погонщиком волов, позже работал водовозом и получил прозвище Петька-водовоз. Он очень сильно, эмоционально переживал расставание с домом, с близкими людьми, тайком даже плакал. Но все закончилось благополучно, и они заработали с Марией денег и вернулись домой. Заработок семье помог, но ненадолго.
В феврале 1920 года, в 12 лет, Петр стал батраком у зажиточного крестьянина на хуторе за 20 верст от его родного села. Новый хозяин поставил условие: служить не менее года и делать по хозяйству все. За это он давал семье Шелест четыре пуда пшеницы, а по окончании срока работы обещал одеть Петра «с ног до головы». Кроме того, было обусловлено, что в случае добросовестной работы при окончательном расчете мальчик получит еще пуд пшеницы и пуд проса.
В напряженную пору сельхозработ новый хозяин Шелеста нанимал еще 10–15 человек рабочих, мужчин и женщин. Работали они от ранней зари до позднего вечера, ночуя часто прямо в поле. «Я, – вспоминал Петр Ефимович, – хотя и не голодал, но часто жил впроголодь, в особенности когда уходил в ночное с лошадьми. Хозяйка была скупой и жадной. Она мне давала кусочек хлеба, причем черствого, луковицу и немного соли. Иногда мать хозяина украдкой от невестки совала мне в торбу кусочек сала».