Бену было шесть лет, когда внезапно закончилось его детство, полное лишений, но все же счастливое. «Родители постоянно кричали друг на друга». Они были троюродными братом и сестрой, в брак вступили по родительской договоренности, а «нищета и тяжелая работа не делали жизнь слаще». Еще до рождения сестры Бена мать из-за выкидыша потеряла двоих детей, теперь она снова ждала ребенка, и напряжение в отношениях с мужем только нарастало. Чтобы подготовиться к рождению младенца, Бена и Пепи отправили погостить к дяде Леппольду, на его маленькую ферму в Порт-Джервисе (город в штате Нью-Йорк). Совсем скоро дети вернулись домой, и Бен сразу же помчался в темный угол их подвальной комнаты, чтобы поздороваться с новорожденной – это была девочка. «Малышки не было и следа. Мама мягко пояснила, что сестренка отправилась на небеса и больше никогда не вернется. Я разрыдался и вспомнил о мерцающих свечах в стаканах», – написал Бен годы спустя. Крошка умерла от воспаления легких.
Это стало последней каплей в браке родителей Бена. Они «просто не подходили друг другу» и в конце концов разошлись. Договор о разделе имущества не требовался, «поскольку никакого имущества не было». Родители согласились, что дети останутся под опекой матери. Семья должна была переехать из подвала, найти новое жилье и придумать какой-то способ сводить концы с концами. В «Историях» Ференц писал: «Государство не выдавало субсидии на содержание детей, систему социального обеспечения еще не придумали. «На Бога надейся, а сам не плошай», – таким был наш девиз в трудные времена». К счастью, у матери была старшая сестра, а у сестры были муж и собственный дом в Бруклине. Тетушка Фанни и дядюшка Сэм Айзек на время взяли в свою семью Бена и Пепи. Через полгода их отец женился на «милой трансильванской женщине» по имени Роза Фрид, с которой познакомился по объявлению в газете. А немногим позже замуж вышла мама. Нового мужа звали Дейв Шварц, он был родом из Будапешта и раньше, когда они жили в подвальной комнатке, частенько заглядывал к ним гости.
Там же, в Бруклине, началось блестящее обучение Бена в школе – хотя вначале так не казалось. Когда Бену исполнилось шесть, отец хотел записать его в государственную школу в Манхэттене, но директор школы отказал ему. Мальчишка был совсем маленького роста и говорил только на иврите. Бен пошел в школу год спустя, когда жил у тети Фанни в Бруклине. Он с трудом, но все же говорил на английском и почти не умел читать. Его выручала исключительная память: «Если я слышал какую-то историю один раз, то мог повторить ее слово в слово. Однажды учитель поймал меня на том, что я правильно «читал» не с той страницы».