В 1922 году он уезжает на Кавказ в качестве специального корреспондента газеты «Заря Востока», но теперь уже с женой и сестрой.
Когда в 1923 году заболел его отец, Бабель был в Петрограде и, возвратившись в начале 1924 года в Одессу, уже не застал его в живых.
После смерти отца Бабель с семьей — женой, матерью и сестрой — переехал в Москву, где остановился поначалу у своего друга Исаака Леопольдовича Лившица, но вскоре поселился под Москвой в небольшом городке Сергиев Посад.
В декабре 1924 года сестра Бабеля Мария (Мера) уехала в Брюссель к своему жениху, Григорию Романовичу Шапошникову. А уже в августе 1926 года к ней отправилась мать Бабеля. В этом же году его жена, Евгения Борисовна, уехала в Париж. Поводом для отъезда жены считалось ее желание продолжить там обучение живописи, но были, вероятно, и другие причины.
Во всяком случае известно, что еще до отъезда Евгении Борисовны Бабель в декабре 1925 года переехал из Сергиева Посада в Москву к Тамаре Владимировне Кашириной.
13 июля 1926 года у Бабеля и Тамары Владимировны родился мальчик, кстати, того же числа и месяца, когда родился и сам Бабель. Мальчику дали имя Эммануил в честь деда.
В 1927 году, похоронив в Киеве отца Евгении Борисовны и ликвидировав там обстановку квартиры, Бабель должен был отвезти старую и больную мать к дочери в Париж.
Семейная жизнь с Тамарой Владимировной не сложилась, и, уезжая в Париж, он надеялся наладить свои отношения с Евгенией Борисовной.
Бабель пробыл в Париже до конца 1928 года, и за это время Тамара Владимировна вышла замуж за писателя Всеволода Иванова, который усыновил мальчика, дав ему свою фамилию и переменив имя Эммануил на Михаил. Так Бабель потерял своего первого ребенка, с которым ему не разрешалось даже видеться.
В Париже отношения Бабеля с Евгенией Борисовной наладились, но переехать в Москву она, очевидно, не захотела, и Бабель возвратился домой один, без семьи. В июле 1929 года у Евгении Борисовны родилась дочь Наташа, с которой Бабель смог встретиться только в 1932 году, когда снова приехал в Париж.
Про Тамару Владимировну и мальчика Бабель, познакомившись со мной, никогда не говорил, но, пока он был в Париже, его ближайшие друзья мне все рассказали. Уважая его желание, чтобы я ничего об этом не знала, я никогда не заводила с ним разговоров на эту тему.
Но зато о Наташе я знала все, Бабель всегда показывал мне ее фотографии, рассказывал о том, что о ней пишет Евгения Борисовна, просил меня покупать ей игрушки и книжки.
Наташа была очаровательным ребенком, и так мне нравилась, что я захотела иметь такую же веселую и лукавую девочку.
В январе 1937 года наша девочка родилась. Мне хотелось дать ей имя Мария, но Бабель сказал, что у евреев не полагается давать детям имена живых родственников, сестру же Бабеля звали Марией. Однажды в роддом Бабель принес мне книгу Стерна «Сентиментальное путешествие по Франции и Италии», в ней я встретила имя Лидия и решила, что девочку назовем этим именем, с чем Бабель согласился.
Помню день, когда Бабель приехал в роддом за мной и дочерью. Уже одетая в свое обычное платье, я вдруг увидела, как открылась входная дверь вестибюля и вошел Бабель с таким количеством коробок с шоколадными конфетами в руках, что должен был эту стопку поддерживать подбородком. И тут же стал раздавать эти коробки врачам и сестрам, которые попадались ему на пути. Кому надо и кому не надо. В этом был весь Бабель! Домой поздравить нас с рождением дочери первым пришел Сергей Михайлович Эйзенштейн. Пришел и поставил на стол какой-то предмет, упакованный в бумагу и перевязанный красной ленточкой с бантом. Когда бумагу развернули, в нем оказался детский белый горшочек, а внутри букетик фиалок. И где он в январе достал фиалки? Кстати, купить в магазине такой необходимый предмет, как детский горшочек, в нашей стране и тогда было невозможно.
Летом 1937 года, когда нашей дочери Лиде было пять месяцев, Бабель снял дачу в Белопесоцкой, под Каширой.
Белопесоцкая расположена на берегу Оки. Купаться и греться на берегу реки, на чистейшем белом песке, было одним из самых больших удовольствий Бабеля.
Вдвоем с ним мы часто ходили гулять в лес, но, едва только мы в него углублялись хоть немного, он начинал беспокоиться и говорил:
— Все! Мы заблудились, и теперь нам отсюда не выбраться.
Привыкший к степным местам, он явно побаивался леса и, как мне казалось, не очень хорошо себя в нем чувствовал. С большим удивлением и даже почтительностью относился он к тому, что, куда бы мы ни зашли, я всегда находила дорогу и была в лесу как дома.
— Вы колдунья? — спрашивал он. — Вам птицы подсказывают дорогу.
А дело было в том, что я выросла в сибирской тайге...
Рассказ Бабеля мне: «Два молодых человека с ранней юности были очень дружны, неразлучны и очень любили друг друга. И вдруг один из них женился и, как казалось другу, на женщине, ничем не примечательной и даже не очень красивой. Но когда он начинал говорить о ней плохо своему другу, тот от него отдалялся, и, наконец, дружба их прекратилась. Огорченный друг пришел к раввину и рассказал ему обо всем. Раввин ответил: „Не пытайся, друг мой, развязать днем узел, завязанный ночью“».
А в другой раз Бабель рассказал мне, что как-то зашел домой к одному поэту. Дома был только отец поэта, и Бабель решил подождать сына. Чтобы польстить старику, он сказал: «Ваш сын пишет очень хорошие стихи!» Седовласый старик помолчал, а потом ответил: «Соломон писал меньше и лучше». — «Все понимает старик», — заключил Бабель.
Перелистывая как-то на даче только что вышедшую и очень толстую книгу одного из известных наших писателей, Бабель сказал:
— Так я мог бы написать тысячу страниц. — А потом, подумав: — Нет, не мог бы, умер бы со скуки. Единственно, о чем я мог бы писать сколько угодно, это о болтовне глупой женщины...
Лида начала ходить в 10 месяцев и к году уже отлично бегала. Она еще не говорила, но преуморительно гримасничала и, видимо, понимая, что окружающих это смешит, становилась все более изобретательной.
— Нам теперь хорошо, — сказал как-то по этому поводу Бабель, — придут гости, занимать не надо. Мы выпустим Лиду, она будет гостей забавлять...
А иногда, смеясь, говорил:
— Подрастет, одевать не буду. Будет ходить в опорках, чтобы никто замуж не взял, чтобы при отце осталась...
Лион Фейхтвангер приехал в Москву и пришел к Бабелю в гости. Это был светло-рыжий человек, небольшого роста, очень аккуратный, в костюме, который казался чуть маловатым для него.
Разговор шел на немецком языке, которым Бабель владел свободно. Я же, знавшая неплохо немецкий язык, читавшая немецкие книги и даже изучавшая в то время, по настоянию Бабеля, немецкую литературу с преподавательницей, понимала Фейхтвангера очень плохо, никак не могла связать отдельные знакомые слова. Мне было очень досадно, так как Бабель, когда писал кому-нибудь по-немецки письмо, спрашивал у меня, как написать то или иное слово. А вот в разговорном языке у меня не было никакой практики, и я не могла ловить речь на слух. Бабель сказал Фейхтвангеру: «Антонина Николаевна изучает немецкий язык в вашу честь», — на что Фейхтвангер ответил, что раз так, то он пришлет мне из Германии в подарок свои книги. И он прислал мне несколько томов в темно-синих переплетах, изданных, если не ошибаюсь, в Гамбурге. Но из этих книг я успела прочитать только роман «Успех»: Бабель отдал их жене художника Лисицкого, Софье Христиановне; не мог удержаться, так как она была немка. А ее вскоре выслали из Москвы в 24 часа...
После ухода Фейхтвангера я спросила Бабеля, что особенно интересного сообщил наш гость.
— Он говорил о своих впечатлениях от Советского Союза и о Сталине. Сказал мне много горькой правды.
Но распространяться Бабель не стал.
Писатели, приезжавшие в те годы в Советский Союз, всегда приходили к Бабелю. Однажды у нас обедал Андре Жид, угощали его форелью под белым соусом и русским квасом, приготовленным дома; про этого человека Бабель мне сказал: «Умен, черт, Горький по сравнению с ним кажется сельским священником».
Бывали также писатели Леон Муссинак и Оскар Мария Граф, пришедший в национальном костюме — короткой юбочке, французский общественный деятель Эррио, который подарил нам большую круглую коробку с кофе в зернах. Когда мы приготовили этот кофе, удивительно ароматный и вкусный, Бабель сказал: «Считается, что люди в России ничего не понимают в кофе; поэтому государство закупает только дешевый 4-й сорт бразильского. Теперь вы знаете, что такое кофе первого сорта».
К Бабелю тянулись разнообразные люди, и не потому только, что был он человеком высокой культуры, великолепным рассказчиком, но и благодаря свойствам его характера. Его обаяние, его шарм действовали неотразимо. Бабель любил жизнь, считал, что человек рождается для веселья и наслаждения жизнью, любил смешные истории и ситуации, сам их придумывал и при этом очень веселился. Иногда своими розыгрышами ставил людей в неловкое положение.
Однажды за столом, где была его родная тетя, зубной врач, очень серьезная и воспитанная дама, один из гостей рассказывал, что во время революции, скрываясь от преследований, ему приходилось ночевать даже в публичных домах. Бабель вдруг говорит: «Знаю, моя тетя содержала такой дом в Одессе». Что было с тетей! Она онемела, все ее лицо покрылось красными пятнами.
У меня в гостях школьная подруга из Сибири. Вдруг входит Бабель и садится на стул. Поговорил с нами, посмешил нас, а потом встал и начал пятиться задом к двери. Мы с изумлением на него смотрим, а он говорит: «Извините, но я не могу повернуться к вам спиной, у меня сзади большая дыра на брюках». Так и выпятился из комнаты.
В 1938 году в Киеве Бабель однажды был приглашен на обед к своему школьному товарищу Мирону Наумовичу Беркову. После обеда, как рассказывала мне вдова Мирона Наумовича Клавдия Яковлевна, мужчины пошли в спальню отдохнуть. Потом пили чай, и уже вечером хозяева решили проводить Бабеля до гостиницы, где он жил. Шли, разговаривали, у гостиницы остановились и стали прощаться: «И вдруг, — рассказывает Клавдия Яковлевна, — я вижу, что на руке у Бабеля что-то блестит, и узнаю знакомые пуговицы».