Яростная критика в адрес Саффолка встревожила королеву, и она убедила Генриха силой положить конец недовольству подданных. Король, вынужденный также совещаться с парламентом по поводу критической ситуации во Франции, созвал его, назначив заседание на 6 ноября. Нашлось немало тех, кто подозревал, что Саффолк едва ли переживет эту последнюю бурю, сохранив власть в полной мере; его приверженцы, догадываясь, что ему грозит гибель, поспешили отречься от него, а некоторые даже оставили свои придворные должности. Враги Саффолка замерли, готовясь нанести ему смертельный удар.
Палата лордов и палата общин объединили усилия, чтобы сокрушить Саффолка. Процесс этот начался, когда заклятый враг герцога, лорд Кромвель, поднялся со своего места в парламенте и публично объявил, что сэр Уильям Тейлбойс, оруженосец Саффолка, замышляет убить его. Саффолк отрицал свое участие в заговоре, говоря, что ему о том ничего не известно, однако Тейлбойсу это не помогло: народ счел его виновным, и на него был наложен штраф в размере трех тысяч фунтов.
В Ирландии Йорк непрерывно получал вести о происходящем в Англии и готовился поддержать кампанию против Саффолка, предвидя, что падение фаворита даст ему возможность проложить себе путь в совет. Его информаторы уже уведомили его о том, что у него есть единомышленники, которые желают реформы управления и стали бы приветствовать уход Саффолка с политической сцены.
9 сентября Адам Молинс, епископ Чичестерский, покинул пост лорда – хранителя малой печати. Молинс, скорее политический, чем церковный, деятель, был членом придворной партии и прежде поддерживал Саффолка, но теперь уверился, что герцог злоупотребил властью и этой власти должен быть лишен. 9 января в Портсмуте он попытался как-то объяснить, почему Саффолк совершал те или иные злодеяния, разбушевавшейся, разъяренной толпе матросов, которым предстояло отплывать в Нормандию. Кроме того, он привез им денежное довольствие, давным-давно запоздавшее, но, когда он раздал деньги, матросы обнаружили, что получили куда меньше, чем им полагается. Они принялись оскорблять епископа, обвиняя его в измене Англии, а когда он высокомерно напомнил, что со служителем Господа подобает говорить вежливо, его надменность столь взмутила их, что они набросились на него и избили, нанеся смертельные ранения. Впоследствии ходили слухи, будто на смертном одре он возложил на Саффолка ответственность за утрату Мэна и Анжу. После его убийства парламент, который ушел на рождественские каникулы, отказался собраться вновь. Так начался отмеченный жестокостью и насилием, переломный 1450 год.
Саффолк отчаянно пытался укрепить свои позиции. В начале 1450 года с помощью королевы он обеспечил своему сыну Джону блестящее будущее, заключив помолвку между ним и своей воспитанницей, семилетней леди Маргарет Бофорт, очень и очень богатой юной девицей, которая по прямой линии происходила от Джона Гонта и имела более обоснованные притязания на престол, чем ее дядя, герцог Сомерсет, которого, по мнению многих, король мог назначить своим предполагаемым наследником. До сих пор право Маргарет на английский трон большинство политических игроков игнорировали, потому что она была женщиной, да к тому же еще несовершеннолетней, однако честолюбивый супруг, обладающий средствами и решимостью возвести ее на престол, вполне мог добиться успеха.
Значение этой помолвки не ускользнуло от современников Саффолка, и некоторые из них сделали невероятный вывод, что на самом деле он замышляет свергнуть Генриха VI, чтобы возложить корону на своего сына и тем самым основать королевскую династию де ля Поль. Другие полагали, возможно справедливо, что герцог надеется убедить короля признать Маргарет Бофорт своей наследницей. В любом случае атмосфера неопределенности, окружавшая будущее престолонаследие, доказывает, что в то время англичане лишь смутно представляли себе, кто имеет наиболее обоснованные притязания на престол и сменит на троне бездетного Генриха VI.
Когда парламент наконец вновь собрался 22 января, Саффолк счел уместным как-то оправдать в его глазах свое правление. Он напомнил собравшимся, как преданно его семья служила короне и в Англии, и на войне с французами, и объявил, что в последнее время пал жертвой «злоречивой клеветы и коварных наветов» и что намерения его зачастую понимались превратно. Он поклялся, что никогда не предавал короля или отечество. Неужели он мог совершить измену, «соблазненный обещаниями французского монарха»?
Речь его не произвела впечатления на палату общин. Дни Саффолка были сочтены: необходимо было найти козла отпущения, чтобы возложить на него ответственность за недавние катастрофы и унижения во Франции и за дурное правление дома. 26 января разгневанный парламент ходатайствовал перед королем об аресте Саффолка и привлечении к суду, в то время как палата общин подготовила билль о предъявлении обвинения. Палата лордов предпочла занять выжидательную позицию и ничего не предпринимать, пока в адрес Саффолка не огласят конкретные обвинения. В то время как герцог содержался в Тауэре, короля и столицу в целом непрерывно охраняло большое число вооруженных ратников лондонской городской стражи, а «люди не знали, чего ожидать, и пребывали в страхе, видя, как лорды являются в Вестминстер и в парламент во главе многочисленных своих отрядов». Под влиянием Йорка совет послал уполномоченных в Норфолк, дабы они положили конец тирании, чинимой там на местах доверенными лицами Саффолка, Томасом Тадденхемом и Генри Хейдоном.
7 февраля палата общин передала королю официальную петицию о предъявлении Саффолку обвинения. Она включала в себя целый перечень серьезных проступков, самым тяжким из которых было совершение государственной измены: в июле 1447 года Саффолк якобы предательски замышлял вместе с французским посланником вторжение в Англию французских войск, а также передал французам секретную информацию. Он якобы пообещал уступить Мэн и Анжу Карлу VII, «не заручившись согласием других ваших посланников, не обсудив с ними никаких деталей этого договора и не поставив их о сем в известность», что непосредственно привело к утрате Руана и других нормандских городов. Кроме того, он-де плел нити заговора с целью свергнуть короля Генриха и возвести на трон своего собственного сына, коего обручил он с Маргарет Бофорт, «предерзко и лживо объявив ее престолонаследницей». Имя королевы не упоминалось ни разу.
12 февраля король, пользуясь своей прерогативой, повелел, чтобы обвинения в адрес Саффолка представили на его рассмотрение, хотя палата общин желала, чтобы герцога судила палата лордов. Потом целый месяц Генрих колебался, медлил и уклонялся от решений. Тем временем, 9 марта, его раздраженная палата общин присовокупила к петиции другие пункты, обвинив герцога в «ненасытной» алчности, которая привела к растрате государственных средств и налогов и обнищанию монархии, а также в назначении по его собственной воле шерифов, «которые исполняли все его желания, тщась угодить ему». Он совершал «позорные, возмутительные вымогательства и убийства; душегубы, мятежники и не стесняющиеся своих преступлений и своей низости злодеи, видя, каким могуществом и какой властью обладает он во всех частях Вашего королевства, стекались к нему, шли служить ему и получали от него жалованье, под его началом и с его одобрения творя всяческие бесчинства, от чего страдали верные Ваши подданные». Многие из этих обвинений, разумеется, были справедливы, но не существует никаких свидетельств, что Саффолк намеревался возвести на трон своего сына или что он замышлял заговор вместе с французами. К тому же он был далеко не единственным владетельным феодалом, запятнавшим себя взяточничеством и коррупцией в особо крупных размерах.
Генрих VI не позволил парламенту официально рассмотреть ни одно из обвинений. Вместо этого он 17 марта призвал Саффолка на них ответить. Герцог отрицал их все, говоря, что «они слишком ужасны, чтобы облечь их в слова, совершенно ложны и безосновательны и сделаны в вопиюще грубой манере». Затем председатель канцлерского суда сообщил ему, что король не считает его виновным в преступлениях, упомянутых в первом билле, и не объявляет его изменником. Однако, видя, что палата общин громогласно требует крови Саффолка, король отчасти признал правоту второй череды обвинений. Королева, стремившаяся спасти человека, который сделал все для заключения ее брака, в какой-то степени заменил ей отца и неизменно с самого начала поддерживал ее, убедила Генриха, что палата общин вполне удовлетворится, если герцога приговорят к изгнанию. Король согласился и приговорил Саффолка к изгнанию сроком на пять лет начиная с мая.
Палата общин и народ пришли в ярость. С их точки зрения, парламентское правосудие обманули и обошли те, кому по долгу службы надлежало блюсти его. Своим вмешательством король спас жизнь Саффолку: парламент охватило такое негодование, что если бы герцог предстал перед судом, то, несомненно, был бы приговорен к смертной казни, полагавшейся за государственную измену. Палата лордов разгневалась, поскольку король, избрав судьбу Саффолку, не посоветовался с нею. Лондонцев в особенности возмутил приговор: 18 марта, когда герцог был освобожден из Тауэра и отправился к себе домой, в лондонский район Сент-Джайлс, разъяренная толпа попыталась ворваться к нему в особняк, намереваясь подвергнуть его суду Линча, и ему пришлось бежать через заднюю дверь. Раздосадованные тем, что жертва от них ускользнула, лондонцы вместо этого захватили его коня и напали на его слуг. Герцог укрылся в своем поместье Уингфилд в Саффолке, где и пробыл полтора месяца, до самой ссылки. Сохранилось трогательное прощальное письмо, которое он написал сыну; в нем он наказывал мальчику верно служить Господу и сюзерену.
В четверг, 30 апреля, Саффолк отплыл в изгнание, выйдя из Ипсвича в Кале с небольшим отрядом на двух кораблях и маленькой шлюпке, которую, как явствует из письма, отправленного 5 мая из Лондона Уильямом Ломнером в Норфолк Джону Пастону, он заранее послал вперед, с депешами, «предназначенными его доверенным людям в Кале, чтобы выяснить, как его там примут». В тот же день, к вечеру, в проливе Па-де-Кале корабль герцога был перехвачен флотилией, состоявшей из небольших судов, которые уже подстерегали его, и в том числе «поджидал герцога корабль под названием „Николас из Тауэра“». «Николас» не был пиратским судном, как утверждали впоследствии некоторые историки; Бенет описывал его как «большой корабль», и действительно, он входил в состав королевского флота, а капитаном его был Роберт Уэннингтон, судовладелец из Дартмута.