К сожалению, жизнь писателя с Евгенией Гронфайн сложилась неудачно. Красавица Евгения очень часто критиковала написанное мужем. В 1925 году она навсегда уехала в Париж. Супруги расстались из-за частых измен Бабеля. Сам же Исаак Эммануилович говорил о том, что жена уехала в Париж упражняться в художествах. После ее отъезда Бабель смог открыто сойтись с артисткой театра им. Мейерхольда Татьяной Кашириной. В июле 1926 года у них родился сын, которого счастливые родители назвали Эммануилом. Их роман оказался недолгим. Так и не узаконив отношения, Бабель покинул свою возлюбленную и уехал в Париж к Евгении Гронфайн, где у них родилась дочь Натали. За это время Каширина вышла замуж за Всеволода Иванова, который усыновил Эммануила и дал ему новое имя Михаил. Ивановы сделали все возможное, чтобы оградить Михаила от встречи с настоящим отцом. Из Парижа Исаак Бабель возвратился один. А в 1932 году встретил свою третью и последнюю любовь – Антонину Николаевну Пирожкову. Исаак Эммануилович стал ее первым и последним супругом. В 1937 году у них родилась дочь Лида. Антонина Николаевна всю жизнь оставалась верна своему мужу-писателю.
Смерть Горького стала одной из самых значительных потерь в жизни Бабеля. Вместе с ним ушло в небытие зыбкое равновесие между создателем «Конармии» и властями. Сразу же после того, как роковое известие дошло до писателя, он произнес фразу, предвосхитившую дальнейшие события: «Теперь мне жить не дадут». Исаак Эммануилович хорошо понимал, что смерть Горького была насильственной, но открыто говорить об этом не мог. В это же время к одесскому писателю был приставлен литературовед Эльсберг. Этот человек работал в издательстве «Академия», что позволяло ему постоянно опекать Бабеля и его семью. Спустя много лет, уже после XX съезда партии, на одном из писательских съездов Эльсберг был исключен из Союза писателей за информаторскую деятельность.
Хрущев в своих мемуарах вспоминал, что Сталин и Берия в конце 1930-х годов планировали арест жены Ежова. Предупрежденная мужем Евгения Соломоновна покончила с собой в больнице. 11 мая 1939 года комиссар госбезопасности Кобулов допрашивал арестованного Ежова о том, что представлял собой литературный салон его жены. Бывший железный нарком рассказывал о том, что особая дружба связывала его жену с Бабелем, который, как известно, все время вертелся в подозрительной троцкистской среде и, кроме того, был тесно связан с французскими писателями. А15 мая 1939 года был арестован и сам Бабель – на даче в Переделкино, в связи с тем, что дома писателя застать не смогли.