Бен и Пепи почти год прожили у тети с дядей, когда мама и Дейв Шварц смогли наконец снять квартирку в Бронксе. Дети вернулись домой, к маме. Иногда они навещали отца и его новую подрастающую семью – Роза вскоре родила двух сыновей. Однако едва восстановился хрупкий мир внутри одной семьи, как большой мир за окном испытал большие потрясения. 24 октября 1929 года разразилась паника среди инвесторов нью-йоркской биржи. В 1932 году Великая депрессия достигла острой фазы. Миллионы американцев потеряли работу. Вслед за Соединенными Штатами экономический и финансовый кризис охватил Европу, а затем и весь мир. В Германии растерянные, презирающие парламентаризм представители консервативной элиты убедили рейхспрезидента Пауля фон Гинденбурга>IV передать бразды правления выходцу из низов Адольфу Гитлеру. После того как 30 января 1933 года Гитлера провозгласили рейхсканцлером, фюрер без колебаний вынес смертный приговор молодой демократии.
Семья Бена ощутила кризис в полной мере. Мать искала работу портнихи или шляпницы, Дейв – должность инструментальщика, вахтера или любую другую, чтобы хоть как-то прожить. Отец предлагал услуги маляра, но кто в таких обстоятельствах мог строить или ремонтировать дом? Многие нуждающиеся американцы получали помощь от правительства, но она была не безграничной. Бена отправляли получать продукты: хлеб, масло или сыр. Он терпеть не мог такие поручения. Однажды ему выдали зеленый шерстяной свитер, но Бен старался его не надевать. «Мне было стыдно его носить, потому что у остальных детей была такая же одежда, и все знали, где я взял этот свитер», – писал он в воспоминаниях. Они больше не могли платить за квартиру и постоянно переезжали – распространенное явление во время Великой депрессии. Некоторые арендодатели позволяли платить аренду по частям или соглашались подождать пару месяцев. Вместо того чтобы оставаться, спустя несколько месяцев многие семьи снова переезжали – так же, как Бен со своими родственниками.
Скитальческий образ жизни привел к тому, что за короткое время Бен сменил несколько государственных школ в Бронксе. Он не задерживался на одном месте настолько, чтобы завести настоящих друзей. Из-за низкого роста он не мог заниматься такими популярными видами спорта, как баскетбол, футбол или бейсбол. Впрочем, мама и так считала, что «агрессивные игры» – неподходящее занятие для хорошего еврейского мальчика. Вместо этого у Бена обнаружилась страсть к чтению. У него всегда был при себе членский билет в общественную библиотеку, и он постоянно читал. В Бенджамине пробуждалось что-то, чего доселе не было в его окружении: ярко выраженная интеллектуальность. Это замечали и учителя. Частая смена школ не располагала к хорошей учебе, но его умственные способности никогда не оставались незамеченными. Бен быстро учился и «перепрыгнул» несколько классов.