Наполеон слишком много видел проигранных и выигранных сражений, чтобы полагать, будто не было никаких шансов на поворот судьбы в его пользу. Это сам император теперь играл в жмурки, так как находился перед лицом пяти армий, ведомых двумя императорами, королем, кронпринцем и высокомерным ирландцем, который думал о своих несравненных пехотинцах как о соли земли. Людские ресурсы России, Австрии, Пруссии и Швеции находились уже на Рейне, а на юго-западе Сульт вел битву за свою жизнь с англичанами, португальцами и испанцами, уже вступившими на французскую землю. Францию же обороняли семнадцатилетние французские мальчишки, большинство из которых никогда не обучалось, как заряжать мушкет.
В декабре и начале января 1814 года Наполеон ненадолго вспомнил о семье. Луи было разрешено приехать в Париж при условии, что он прибудет как французский принц, а не как сосланный король. Количество изгнанных коронованных особ в Париже возрастало, и создатель королей находил их присутствие стеснительным, особенно когда они обращались к нему с чудовищными для Франции предложениями — провести ее границы по Рейну, Альпам и Пиренеям. Посоветовав Луи заниматься своими собственными делами и размышлять о собственных многочисленных провалах, Наполеон принялся распутывать испанский клубок. Здесь, используя то преимущество, что Фердинанд, который когда-то был избран королем самими испанцами, все еще находился под арестом в Валенсии, Наполеон предложил, что ему следует вернуться в Испанию в качестве короля с одобрения Франции и что дружбу между двумя странами нужно укрепить браком между Фердинандом и тринадцатилетней дочерью Жозефа. Это примечательное предложение сопровождалось только одним условием — амнистией для всех испанцев, которые поддерживали Жозефа во время его пятилетнего правления.
Жозеф не был привлечен для консультаций при обсуждении этих предложений. Наполеон все меньше и меньше склонялся к тому, чтобы принимать во внимание своих братьев и сестер. Во всяком случае, Жозеф находился теперь как бы под домашним арестом, и ему было запрещено посещать Париж без особого разрешения. Уязвленный такими ограничениями, Жозеф послал свою привлекательную жену Жюли, чтобы она попыталась переубедить ее деверя. Но Жюли потерпела неудачу, и в конце концов любовнику Гортензии де Флаоту было поручено привезти Жозефа в Тюильри, где ему было сказано о восстановлении на троне Фердинанда. Либо тлевшие искры амбиций, либо желание расплатиться за недавнее унижение побудили Жозефа выдвинуть яростные возражения против такого урегулирования дел. Возникла необходимость заполучить его формальное отречение от трона, чтобы продвигать этот проект, но Жозеф начал излагать разного рода возражения против него, доказывая, что формально, во всяком случае, он все еще оставался королем Испании и мог не желать отречения. Со стороны человека, который не правил ни единым клочком испанской территории и совсем недавно был изгнан из удерживаемых лишь вооруженными силами провинций, было странно слышать такую речь, но он это утверждал, и Наполеон столкнулся с величайшими затруднениями в попытках переубедить его. 7 января 1814 года, незадолго до своего отъезда на фронт, Наполеон послал ему раздраженное письмо, объясняя различные причины восстановления Фердинанда на троне, а когда Жозеф противопоставил этому новые аргументы, император в ответном письме потребовал от своего брата на сей раз публичной клятвы в верности Марии Луизе, как регенту. «Возможно, что ты не сможешь этого сделать, — ехидничал он, — возможно, у тебя недостаточно здравого смысла! В этом случае вернись в провинции так незаметно, как только сможешь. Если мне суждено еще прожить, ты можешь быть спокоен. Если же я умру, ты будешь арестован и, возможно, приговорен к смерти. Ты станешь бесполезным для меня, для моей семьи, для своих дочерей и для Франции, и ты уберешься с моего пути. Выбирай побыстрее и решай, что ты станешь делать».
В конце концов Жозеф уступил, но, чтобы убедить его в необходимости такого шага, потребовалось совместное давление со стороны его матери, жены и на последнем этапе — Луи. Тогда он дал согласие на сотрудничество, но лишь при условии, что сохранит свой королевский титул и всегда будет известен как король Жозеф.
Между тем свояк Жозефа, ренегат Бернадотт, освободил Голландию. Бывший король Луи, который еще недавно любил всем давать советы, начал пересматривать собственную позицию и также решил сохранить свой титул вопреки тому факту, что Голландия не хотела иметь с ним ничего общего.
Из Кельна пришло сообщение от Жерома, обещавшего вернуться во Францию и пополнить ряды лишившихся тронов Бонапартов, которые обосновались в Париже и около него. В Вестфалии все было потеряно, и карета гессенского выборщика была с триумфом протащена по улицам Касселя уже через неделю после отъезда Жерома. Бегство Жерома не было столь же недостойным, как исчезновение Жозефа, так как по крайней мере некоторые из его подданных пытались защитить столицу. Казаки появились под Касселем 27 сентября 1813 года, а Жером выскользнул из города ранним утром следующего дня в сопровождении своих телохранителей. Там не было никакого восстания (несомненно, вестфальцы полагали, что они столь же успешно могут быть ограбленными казаками, как и Жеромом), но 13 октября, вскоре после великой битвы под Лейпцигом, один из генералов Жерома вновь захватил город. В качестве награды он был произведен в графы с пенсией в 6 тысяч франков в год, хотя его шансы на ее получение были столь же сомнительны, как и возможность его суверена одолжить достаточно средств, чтобы выплачивать ее. Когда новости о катастрофе под Лейпцигом достигли Касселя, все возможности удерживать Вестфалию для Франции были потеряны, и Жером вместе со своими сторонниками, которых теперь насчитывалось около сотни, перебрался через границы Берга, последнего германского государства, где еще развевался французский флаг.
В заключительном номере «Монитор Вестфалиен» Жером объявил, что его отсутствие в Касселе будет временным и что он «уверен в поведении своих подданных, всегда отличавшихся преданностью и спокойствием». Никто не поверил в эту чепуху, и те, кто предпочитал иметь дело с Францией, отправились следом за двором в Кельн, где Жером, как обычно, оказался в денежных затруднениях и был вынужден продать свое столовое серебро и форменные одежды. Это касалось, однако, не всех его одеяний, так как, несмотря на бегство из страны, которая его отвергла, Жером цеплялся за внешние признаки своего королевского достоинства. Вокруг частного дома, который он использовал как штаб, были расставлены вестфальские охранники в своих театральных, обрамленных золотым шитьем, туниках. Один из свидетелей, которому довелось повстречать в то время обращенный в бегство двор, рассказывал, что он напоминал ему труппу провинциальных актеров, игравших трагедию перед безразличной аудиторией.
Жерому делались предложения о сговоре с коалицией противников его брата, но он отверг их в напрасной надежде, что сам Наполеон в конечном счете прислушается к голосу разума и примет великодушные предложения мира, с которыми обращались к нему союзники еще до вторжения во Францию. Прошло еще какое-то время, прежде чем он смог заставить себя покинуть Германию, полагая, что, пока Бонапарт находится к востоку от границы Франции, не все еще потеряно, но в итоге Жером все же вынужден был уехать, написав письмо Наполеону с предложением о встрече в Майнце.
Письмо Жерома оказалось для Наполеона как бы последней каплей. Из Испании во Францию прибыл Жозеф, а за ним тянулось 100 тысяч вооруженных людей. Луи, который отказывался прибыть в Париж и получить прощение за свое отречение от трона в 1810 году, теперь приехал туда из Австрии, считая себя достаточно компетентным, чтобы давать советы о разумности достижения договоренности с противниками. Теперь там был и Жером, третий из утративших корону королей. Он предлагал встретиться, для того чтобы рассмотреть способы восстановления королевства, которое будет перераспределено между первоначальными владельцами его земель, как только союзникам хватит времени для новой перекройки карты. Наполеон одного за другим проклинал членов своей семьи и написал письмо младшему брату, запрещая ему приближаться к столице и отказываясь от встречи в Майнце.
Большинство людей, оказавшись в положении Жерома, были бы повергнуты в отчаяние этим отказом, но немногие из них располагали жизнеспособностью младшего Бонапарта. Будучи отвергнутым императором и не предвидя перспективы своего восстановления на троне в Вестфалии, Жером решил вернуться во Францию и обосноваться там в качестве мелкопоместного дворянина, подобно своему брату Жозефу. Имея в виду такую цель, он отправил письмо Екатерине с просьбой купить и обставить красивый дворец под Стайнсом и приготовиться немедленно занять его.
Известие о решении Жерома еще больше разгневало Наполеона. На протяжении всей его жизни, жаловался он, ему мешали родственники, которые отказывались считаться с реальностью. И забывая, что сам он продолжал действовать как победитель мира, будучи всего лишь побежденным авантюристом, он продиктовал яростное письмо Камбасересу, герцогу Пармскому, выражая изумление, что «в то время, как все простые граждане жертвуют собой, защищая свою страну, король, который утрачивает трон, может быть настолько бестактным, что выбирает такой момент, чтобы создать впечатление, будто он думает лишь о своих личных интересах!». Затем он запретил Жерому приближаться хотя бы на несколько миль к этому дворцу и сказал Екатерине, чтобы она не тратила ни одного су на приведение его в порядок. Жерому же было приказано продолжать путь в Аикс-лё-Шапель, где ему и предстояло расквартироваться, если он все еще желал жить во Франции.
Жером теперь проявлял то же спокойное упорство, что и Жозеф и Луи в неблагоприятной обстановке. Он не направится в Аикс-лё-Шапель, заявил Жером, а будет заниматься обновлением своего дворца, и, как бы демонстрируя семье, что с властью Наполеона покончено, он поехал к своей матери в Париж, после чего на время ремонта замка устроил себе резиденцию в Компьене.