После «раскулачивания» семья Ельциных переселилась в город Березники. Там не хватало рабочих рук, особенно строителей. Отец устроился на работу в стройкомбинат плотником. В трехлетнем возрасте Борис испытал первую душевную травму. Отца осудили как бывшего «кулака» и «саботажника», обвинив его в том, что он прячет зерно, чтобы не сдавать его государству, и направили в тюремный лагерь на три года.
Он помнил, как отца забирали из дома, как рыдала мать, прижимая к себе трехлетнего малыша. После ареста мужа Клавдия Васильевна продолжала работать швеей, брала заказы у соседей, но денег на жизнь не хватало. Питались скудно. В весенне-летнее время в пищу употребляли стебли и листья съедобных растений. Выжили, не умерли с голоду и дождались освобождения отца семейства из тюремного лагеря. Он вернулся в 1937 году, когда Борису исполнилось шесть лет. Семья поселилась в бараке, заняв одну небольшую комнату. Коридор был общий, в него выходили 12 комнат. Никаких бытовых удобств не было. Туалет был во дворе, воду носили из колодца.
Вскоре после освобождения отца в семье появились еще двое детей – мальчик Михаил и девочка Валентина. 6-летнему Борису пришлось помогать родителям по уходу за детьми: укачивать, менять пеленки, возить в коляске на прогулку, кормить из соски, растапливать печь, носить воду из колодца. Отец был суров и требователен. За шалости и проказы наказывал Бориса ремнем. Мать была мягкой и добросердечной и руку на него никогда не поднимала. Борис помогал родителям и в домашней работе: научился рубить дрова и орудовать пилой, весной и летом помогал в огородных работах, умел копать землю, полоть траву, поливать огород. Находил время и для дворовых игр со своими сверстниками. Был подвижным, непоседливым, любознательным и довольно самостоятельным: сам одевался, мылся, обувался и чистил обувь.
Он с завистью смотрел на проносившиеся мимо его дома автомобили с начальствующими лицами. Своим детским умом он оценил выгодное положение начальников, которым многое в жизни было доступно, и на вопрос взрослых, кем бы он хотел стать в будущем, он неизменно отвечал:
– Я буду начальником.
Люди улыбались, воспринимая это желание как детскую фантазию. Никто не думал, что в будущем оно станет реальностью. Семья Бориса жила в бедности. Кровать у них была одна, и на ней спали родители с младшими детьми. А Борис спал на полу, на соломенном матрасе вместе с козой. В своих «Записках» он позже писал: «Зимой было холодно под ветхим одеялом, а коза была теплой, как печка, я прижимался к ней и засыпал». Коза давала один литр молока в сутки, которого едва хватало для детей.