Тем временем Глостер, не скрываясь, высказывал свои антифранцузские взгляды, к немалому смущению короля, и, снова встретившись с послами 15 июля, Генрих отозвался о своем дяде презрительно, а Саффолк сообщил им, что король более не испытывает к Глостеру почтения. Таким образом Генрих публично отрекся от политики Глостера.
В конце лета 1445 года Генрих отозвал Йорка из Нормандии, поскольку пятилетний срок его пребывания в должности подходил к концу и король явно не собирался оставлять его в этом качестве на следующие пять лет. Враги Йорка не теряли времени даром: Ваврен говорит, что, несмотря на очевидные достоинства Йорка,
английских принцев и баронов охватила зависть, и не к кому-нибудь, а к герцогу, который в ту пору преуспевал, как никогда, снискивая звания и почести. Более того, процветание его невыносимо было видеть тем, кто не хранил, как полагается, верность королю и стране и не усердствовал должным образом ради их блага. Но особенно преисполнился зависти Сомерсет, который ненавидел герцога Йоркского и нашел средство причинить ему вред. Сомерсет пользовался расположением королевы. По совету Сомерсета и других лордов и баронов его свиты она убедила короля отозвать герцога Йоркского в Англию. Там его лишили всех полномочий и отстранили от правления Нормандией, что делал он весьма похвально и в течение долгого времени, и несмотря даже на то, что он достойно показал себя на протяжении всего английского завоевания Франции.
Какой именно оборот принимают события, Йорк понял еще раньше, когда на пост канцлера Нормандии был назначен сэр Томас Ху, состоявший в свите Саффолка и настроенный по отношению к Йорку враждебно.
Йорк вернулся в Англию осенью. Корона все еще не выплатила ему долг в 38 тысяч 677 фунтов; он был богат, но такие финансовые потери оказались разорительными даже для него, и задолженности лишь ожесточили его. Хуже того, теперь он узнал, что во Франции его сменит на посту Сомерсет, а подобное назначение равнялось пощечине для того, кто не только исполнял свои обязанности ответственно, деятельно и успешно, но и хотел бы остаться в должности на второй срок. Кроме того, это назначение грозило катастрофой с военной точки зрения, так как Сомерсет, в отличие от Йорка, не обладал нужным опытом командования.
Йорк полагал, что добился бы большего в Нормандии, если бы получил должную поддержку от английского правительства, хотя его военные победы во Франции пошли бы вразрез с интересами партии мира. По словам Ваврена, Сомерсет и Маргарита указали Генриху VI, что «Нормандия обходится ему слишком дорого из-за денежного довольствия, которое он выплачивает размещенным там солдатам», и даже посоветовали ему «вернуть это герцогство французам, дабы избежать таких трат». Генрих был еще не готов уступить столь много, но, разумеется, не хотел, чтобы Йорк обрел популярность.
Будучи незаслуженно обиженным, Йорк тем не менее почти не встретил сочувствия или поддержки в Англии. Большинство придворных открыто одобряли королевскую мирную политику и предпочитали не солидаризироваться с человеком, который, вслед за Глостером, выступил за более агрессивный курс во внешней политике. Снова оставшись в одиночестве, Йорк прибегнул к помощи узкого круга верных друзей, из тех, кто достойно служил под его началом в Нормандии и кто сейчас негодовал на то, что с ним столь пренебрежительно обходятся король и совет, которым надлежало бы его благодарить.
Но худшее ожидало его впереди. В парламенте епископ Молинс обвинил Йорка в дурном правлении и преступном расходовании денег, якобы совершенном им в Нормандии. Придворная партия стремилась удалить его от двора, исключить из совета и отстранить от всякой политической деятельности и сейчас обрела такую уверенность в своем могуществе, что осмелилась обвинять в подобных преступлениях человека, бывшего формально наследником правящего монарха. Сам Йорк полагал, что заговор с целью опозорить его задумал Саффолк; сопоставив все, он наверняка догадался, кто желает ему зла, и с тех пор в отношениях Йорка и Саффолка, во Франции складывавшихся вполне дружелюбно, воцарился ледяной холод.
Йорк умело защищался от обвинений Молинса, вызвав из Нормандии чиновников, которые подтвердили, что епископ предлагал взятки солдатам Йорка, чтобы те пожаловались, будто он не выплачивает им довольствие. Против ожидания, Йорк был полностью оправдан. Тем не менее отныне он осознавал, что, пока придворная партия подчиняет себе короля, ему не стоит ждать ни постов, ни званий, ни славы.
В октябре 1445 года Рене Анжуйский написал Генриху VI, настаивая, чтобы тот отказался от Мэна и Анжу. В том же месяце, откликаясь на просьбу Генриха продлить перемирие, в Лондон прибыло второе французское посольство.
Уступая отцу и дяде, Маргарита принялась оказывать давление на Генриха, убеждая его выполнить их требование и соблюсти условия договора. Сначала она умоляла и улещивала, потом рвала и метала, устраивала сцены, и все же Генрих уходил от прямого ответа. 17 декабря Маргарита написала королю Карлу, уверяя, что сделает все возможное, чтобы склонить Генриха к обещанному выполнению условий. Неизвестно, на какие ухищрения и уловки она пускалась, однако они возымели действие, поскольку 22 декабря король лично дал Карлу торжественное письменное обязательство отказаться в пользу Рене от Мэна и Анжу к 30 апреля 1446 года, «дабы угодить королю Франции по просьбе моей супруги».
В весьма характерной для него манере Генрих не потрудился известить своих гражданских чиновников и офицеров, размещенных в Мэне и Анжу, об их участи и не стал ждать одобрения совета. Но все же слухи о его тайной договоренности просочились за стены дворца, вызвав бурю протеста. Его подданные, от герцога Хамфри до последнего бедняка, решили, что их обманули. Однако наибольший позор навлек на себя Саффолк, ибо именно он сделал все для заключения договора в Туре.
Генрих предпочел не заметить недовольство подданных и ничего не предпринимал до последней минуты. Затем, 30 апреля, отдавая себе отчет в том, что откладывать более нельзя, он послал наместнику Мэна и Анжу приказ оставить эти провинции, а затем уступить их французам. Подтверждение этих слухов вызвало новую волну протестов, а когда наместник этих владений открыто бросил вызов королю, отказавшись повиноваться, всю страну охватило ликование. В Англии воцарились такие настроения, что Генрих не осмелился настаивать на своем.
Однако Маргарита не проявила подобной робости. В мае она напомнила королю об обещании, данном им Карлу VII, моля его сдержать слово. Генрих не хотел ничего слушать, ибо очень опасался недовольства своих подданных. Маргарита подвергалась непрерывному, упорному давлению со стороны французского короля, но никак не могла подвигнуть своего супруга на какие-то шаги, и переговоры с Францией по поводу Мэна и Анжу затянулись до конца года, не достигнув результата, который удовлетворил бы того или другого участника. Король Карл все более терял терпение, глядя на то, как Генрих намеренно медлит и затягивает дело, и зимой попробовал принудить его отдать обсуждаемые территории, завлекая перспективой продлить перемирие до января 1448 года. И все-таки Генрих колебался.
Тем временем Маргарита, надеясь скрепить перемирие между Англией и Францией, предложила сочетать браком четырехлетнего наследника Йорка, Эдварда, графа Марча, с дочерью Карла VII Мадлен, но, хотя Саффолк поддержал этот замысел, свадьба не состоялась. Тем не менее сам по себе этот план свидетельствовал о негласном признании династической значимости Йорка и, возможно, был задуман как средство отвлечь герцога от продолжения войны и заинтересовать французской политикой.
В декабре 1446 года произошел случай, заставивший придворную партию задуматься, не составил ли Йорк втайне заговор, намереваясь захватить престол. У оружейника Йорка, Джона Дэвиса, был подмастерье, крепостной Уильям Кейтер, который заявил, будто слышал, как Дэвис говорил, что корона по праву принадлежит Йорку. Саффолк приказал арестовать его, чтобы он повторил свои обвинения перед советом, а Йорк, осознав, что другие могут поверить или попытаются голословно утверждать, будто изменнические разглагольствования Дэвиса бросают тень и на него, потребовал, чтобы оружейника предали суду и подвергли наказанию. Дэвис отрицал, что произносил подобные речи, но его судьи объявили, что они с Кейтером должны сразиться на поединке чести, вооруженные каждый одной только палкой. Судебный поединок состоялся в Смитфилде, в присутствии короля, королевы и всего двора. Победу одержал Кейтер, и потому было решено, что правосудие свершил Господь. Дэвиса повесили, а тело его сожгли. Отныне королева и ее партия стали подозревать Йорка в желании захватить власть.
Когда Глостер узнал, что Саффолк, по-видимому не поставив в известность ни совет, ни парламент, тайно пообещал передать Мэн и Анжу французам, его негодованию не было пределов, а яростное, ожесточенное и открыто декларируемое неприятие политики придворной партии снискало ему большую популярность у разочарованных англичан, видевших в нем защитника своих интересов. Поэтому те, кто знал, что гнев Глостера должен быть направлен не против Саффолка, а против короля, постарались положить конец публичным речам «доброго герцога Хамфри», чтобы он не вызвал скандала, способного скомпрометировать сам трон.
Глостер, совершенно пренебрегая предупреждениями как-то умерить свою яростную критику, стал громить придворную партию еще более откровенно, и к декабрю 1446 года король и его сторонники поняли, что придется так или иначе заставить его замолчать, чтобы он не обнаружил и не открыл всем правду. Кроме того, он навлек на себя враждебность королевы, воспринимавшей его упреки как оскорбления в свой адрес, которые нельзя прощать или забывать, и поссорился с большинством членов совета. По-видимому, Глостер не осознавал, какая опасность ему угрожает. Джон Уитхэмстед, аббат Сент-Олбанса, утверждает, что «приспешники сатаны» оклеветали в глазах Генриха его дядю, «столь любимого народом и столь преданного королю».