Никто и не предполагал, что Беннетт может влюбиться, но он совершенно потерял голову. Вскоре они с Генриеттой поженились, и в мае 1841 года на свет появился их сын Джеймс Гордон Беннетт-младший. Главная соперница «Геральд», нью-йоркская газета «Сан», сухо сообщила о прибавлении в семействе, но при этом заметила, что прелестный младенец просто не может быть сыном отталкивающего Беннетта. Хотя вслед за Джеймсом друг за другом родилось еще трое детей, в младенчестве не умерла лишь одна дочь по имени Жаннетта.
Генриетте Беннетт претила роль статусной жены самого скандального мизантропа американской печати. В ноябре 1850 года, когда они с мужем прогуливались по Бродвею, на Беннетта напала банда линчевателей, возглавляемая Джоном Грэмом – Беннетт всячески противился его выдвижению на пост окружного прокурора. На глазах у перепуганной Генриетты ее мужа избили едва ли не до смерти, но двое стоявших поблизости полицейских так и не вмешались в драку. Когда Беннетт поправился, Генриетта заявила, что Нью-Йорка с нее достаточно. Ей была не по душе бурная, пропитанная типографской краской жизнь мужа. Генриетта считала, что ее дети не должны расти в такой обстановке. Забрав маленьких Джеймса и Жаннетту, она уехала в Париж и осталась там навсегда, посещая Нью-Йорк лишь изредка. Беннетт вернулся к жизни вздорного холостяка и продолжил руководить газетой в одиночестве.
Джеймс и Жаннетта выросли вдали от родины: их воспитывала во всем потакающая детям мать-ирландка и учили французские учителя. От угрюмого и мрачного человека, который обеспечивал им роскошную жизнь, их отделял целый океан.
Когда Джеймс немного подрос, он стал чаще ездить в Нью-Йорк к отцу. Беннетт-старший хотел, чтобы в будущем сын принял на себя руководство газетой, поэтому выделил ему стол и определил круг номинальных обязанностей. Но его наследник не интересовался журналистикой – и вообще работой. Он обнаружил, что нью-йоркское высшее общество, которое отвергало его отца, его самого встречало с распростертыми объятиями, и влился в струю. Редактор «Сан» заметил, что его стали считать «примером для подражания и настоящим сорвиголовой». Один из ранних биографов написал, что «описание всех безумств этого юнца и его компании оказалось бы не короче сказок «Тысячи и одной ночи». Свободное от посещения таверн и игорных домов время Джеймс проводил на яхтах и зарекомендовал себя умелым, но безрассудным моряком. В 1860 году отец построил ему собственную яхту «Генриетта», и Джеймс стал постоянно ходить на ней, выигрывая регаты в Америке и Англии.