Когда-то Филипп Бенджамин держал крошечный магазинчик в еврейском квартале Лондона. Наполеоновские войны сильно ударили по всей английской торговле. Разорившийся коммерсант решил попытать счастья за океаном, в Вест-Индии, где у родственников его жены, Ребекки Мендес, неплохо шли дела.
Отец Иуды оказался не самым удачливым бизнесменом: нужда по-прежнему следовала за ним по пятам. Через несколько лет угроза очередного разорения заставила семейство перебраться в Соединенные Штаты. Здесь они несколько раз переезжали с места на место, пока не осели в 1821 году в Чарльстоне, тогдашней столице штата Южная Каролина. Отсюда и начал свое восхождение один из самых ярких и загадочных американских политиков XIX столетия.
Чарльстон был первым городом в Новом Свете, который предоставил право голоса нехристианам. В колониальные времена Южная Каролина управлялась согласно хартии 1669 года, составленной великим английским философом Джоном Локком. Хартия гарантировала свободу совести всем поселенцам, среди которых были отдельно упомянуты «язычники, евреи и сектанты». Во время Войны за независимость США большинство иудеев-южан сражалось на стороне генерала Вашингтона, многие были офицерами его армии. Со временем в Чарльстоне образовалась самая крупная еврейская община на юге страны.
Впоследствии, в кругу вашингтонских друзей, Иуда Бенджамин с радостью вспоминал свои детские годы в Чарльстоне. Семью по-прежнему кормил небольшой магазинчик в районе порта. Запах сушеных тропических фруктов, специй и кокосового масла в лавке, шум порта с боцманскими свистками и многоязыкой матросской речью, неповторимое дыхание южного моря составляли аромат детских воспоминаний сенатора. Вероятно, отсюда берет начало глубокая привязанность к старому американскому Югу, на долгие годы определившая его жизненный выбор.
Подлинной главой семьи была Ребекка. Иуда никогда не упоминал отца, но бережно относился к матери. Дальние родственники вспоминали ее как женщину с сильным характером, которая, невзирая на бедность, умела высоко держать голову. Однажды, как пишет первый биограф Бенджамина П. Батлер, более обеспеченная сестра Ребекки прислала ей из Вест-Индии сундук с дорогим постельным бельем. Нераскрытый сундук был тотчас отослан обратно с уверением в полном благополучии.