Иоанн V решил отправиться в Венгрию сам. Это был беспрецедентный шаг; императоры могли пересекать границы своих государств во главе собственной армии, но никогда еще василевс не покидал свою столицу как проситель, обращающийся к христианскому Западу. Оставив империю в руках старшего сына Андроника, в начале 1366 года Иоанн V в сопровождении младших сыновей Мануила и Михаила отправился на корабле вдоль Черноморского побережья, а оттуда поднялся по Дунаю до Буды. Король Лайош избрал старую и хорошо знакомую византийцам линию поведения: речь о военной поддержке может идти лишь после того, как империя подчинится Риму. Опечаленный Иоанн V отправился домой и по пути фактически оказался в плену у болгар, которые отказались пропустить его через свою границу.
Прежде был лишь один случай пленения императора иностранной державой – Роман Диоген, которого захватили сельджуки, обращавшиеся с ним уважительно и любезно и освободившие его через неделю. Иоанн V же оказался в плену у собственных соседей-христиан; царь Иван Александр, тесть старшего сына своего узника, совершенно его игнорировал, и Иоанн V почти полгода провел в маленьком приграничном городке – весьма яркая иллюстрация, до чего докатилась Византийская империя. Когда Иоанна V наконец освободили, он был обязан этим не болгарскому царю, а, как ни странно, своему кузену Амадею Савойскому.
В мае 1366 года Амадей приплыл из Венеции в Константинополь с 15 кораблями и войском численностью 1700 человек, намереваясь помочь кузену в борьбе против турок. Приплыв в Дарданеллы, он отвоевал Галлиполи; легко представить, как это подействовало на боевой дух византийцев. Однако о пленении Иоанна V он, вероятно, узнал лишь по прибытии в Константинополь. Проплыв вдоль Черноморского побережья, Амадей осадил Варну, откуда отправил ультиматум царю, находившемуся в Трново. Иван Александр немедленно повелел пропустить императора через свои владения, и перед самым Рождеством Иоанн V добрался до лагеря Амадея в Месембрии. Весной 1367 года они вместе вернулись в Константинополь, где им предстояло обсудить серьезные вопросы. Амадей поклялся снова поднять вопрос о церковной унии и даже привез с собой папского посла Павла, бывшего епископа Смирны, которого недавно повысили до титула номинального латинского патриарха Константинополя.
Иоанн V быстро принял решение. Он не мог навязать унию своим подданным или византийской церкви, но мог лично подчиниться Риму и одновременно организовать обсуждение между Павлом и православными священниками. Как и следовало ожидать, патриарх Филофей отказался иметь дело с претендентом на его титул, однако он не возражал, когда Иоанн V назначил своего тестя монаха Иоасафа (бывшего императора Иоанна VI), игравшего все более важную роль в государственных делах, представлять православную церковь вместо Филофея. Иоанн вновь объяснил позицию Византии: унию нельзя навязать сверху, и у императора нет власти над душами своих подданных. Разногласия можно уладить только через Вселенский собор, что, к несчастью, никогда не считалось приемлемым для Рима. Павел в конце концов согласился на собор, который должен был пройти в Константинополе через два года; сам он тем временем вернется на Запад вместе с Амадеем и представителями пастырского и монашеского православного священства, при условии, что сам император вскоре нанесет визит папе римскому.
Еще раньше в том же году папа Урбан V попытался перенести папский престол обратно в Рим. Попытка оказалась неудачной, и вскоре он вернулся в Авиньон; однако византийская делегация отправилась тем летом именно в Италию, где Урбан V встретил их в Витербо. Оттуда они вместе с ним отправились в Рим, но вскоре стало ясно, что он не намерен созывать собор: из 23 писем, которые он подписал 6 ноября и в которых подчеркивалась важность подчинения Византии и обещанного визита императора в Рим, ни в одном не упоминалась возможность такого собрания.
Но Иоанн V сдержал обещание. Вновь оставив старшего сына и коронованного соправителя в качестве регента, в начале лета 1369 года он отправился в путь в сопровождении свиты, в которую входили несколько церковных иерархов, относившихся к этой затее с большим неодобрением. 18 октября в Риме он официально подписал свое подчинение Римской церкви и ее главе – папе римскому и поставил на нем свою императорскую печать, а в следующее воскресенье поклонился верховному понтифику на ступенях собора Св. Петра. Этот поступок остался личным, не вовлекающим других людей актом, и публичное самоуничижение Иоанна V привело лишь к опасному ослаблению его положения в Константинополе.
За некоторое время до этих событий император получил письмо от венецианского дожа Андреа Контарини, в котором тот напоминал ему о драгоценностях византийской короны, заложенных императрицей Анной в 1343 году за 30 000 дукатов; проценты за этот залог быстро росли, так что, возможно, он захочет посетить Венецию по пути домой? Иоанн V прибыл туда в начале мая. При обычных обстоятельствах первый визит византийского императора в Венецию отпраздновали бы с таким размахом, на который не было способно ни одно другое государство; однако венецианцы относились к бедности без уважения. Атмосфера немного разрядилась, лишь когда император предложил венецианцам остров Тенедос у входа в Дарданеллы в обмен на обещание вернуть драгоценности, экипировать 6 военных кораблей и выплатить 25 000 дукатов, 4000 из которых император желал получить сразу, смущенно признавшись, что у него недостаточно денег, чтобы вернуться домой.
Дож охотно согласился, но регент Андроник, на которого оказывали серьезное давление генуэзцы в Галате, отказался отдавать остров Венеции. Венеция в ответ отказалась давать деньги, и Иоанн фактически оказался пленником венецианцев, так как Андроник и пальцем не пошевелил, чтобы ему помочь. В конце концов помощь пришла от его сына Мануила, наместника в Фессалониках. Покинув город в середине зимы, Мануил поспешил по засыпанной снегом Эгнатиевой дороге, захватив золото, которого было достаточно для освобождения отца. Лишь благодаря ему Иоанн V смог покинуть Венецию в марте 1371 года, получив от венецианцев 30 000 дукатов.
Дома его тоже ждали скверные новости. 26 сентября 1371 года турки полностью разбили сербскую армию на берегу реки Марица (иначе битва при Черномене), и больше ничто не могло помешать им овладеть Сербией, Македонией и Грецией. С того времени сербская знать считалась лишь вассалами, обязанными платить дань османскому султану, как отныне именовал себя Мурад, и по первому требованию оказывать ему военную поддержку. В 1373 году Иоанн V тоже был вынужден стать вассалом, как и болгарский царь – вероятно, просто от отчаяния. Когда под контролем турок находились и Сербия, и Болгария, крестовые походы стали практически невозможными; отрезанная от Запада Византия не могла создавать даже видимость сопротивления. Лишь объединившись с султаном, Иоанн V мог надеяться спасти хоть какие-то обломки империи: по крайней мере, Мурад мог остановить банды турецких мародеров в Македонии и Фракии, а также помочь Иоанну укрепить свои позиции против собственного сына Андроника, который вызывал у него все большую тревогу.
Именно по этим причинам в мае 1373 года Иоанн оказался в Анатолии, где сражался на стороне султана. Это само по себе было достаточно унизительно, однако еще хуже было то, что Андроник открыто взбунтовался против императора и султана. Разъяренный Мурад потребовал, чтобы Иоанн V приказал ослепить сына, и император знал, что не сможет ему отказать, но все же добился некоторого милосердия к жертве: Андроник утратил зрение не до конца и был заключен в тюрьму в Константинополе, официально лишившись права наследовать трон. Теперь престолонаследником стал Мануил, которого вызвали из Фессалоник и 25 сентября короновали как соправителя Иоанна.
Вскоре у Иоанна V возник повод пожалеть о своей снисходительности. В марте 1376 года прибыли послы из Венеции: после устранения Андроника дож желал привести в исполнение соглашение, заключенное шесть лет назад. В обмен на Тенедос он предложил еще 30 000 дукатов и возвращение драгоценностей короны и пообещал, что знамя империи будет развеваться над островом вместе со знаменем Венецианской республики. Однако генуэзцы снова помешали осуществлению этого плана, и вновь их мысли обратились к Андронику. В июле им каким-то образом удалось организовать его побег из тюрьмы, после которого Андроник отправился прямиком к Мураду и пообещал ему немедленное возвращение Галлиполи. Мурад предоставил ему смешанное войско, состоявшее из кавалерии и пехоты, с которым он смог войти в столицу. Иоанна V и его семью вскоре вынудили сдаться, и Андроник с удовольствием заключил их в тюрьму Анемас, которую сам недавно покинул; после этого он официально даровал Тенедос Генуе. Год спустя, 18 октября 1377 года, его короновали как Андроника IV, а его малолетнего сына – как его соправителя Иоанна VII. Однако генуэзцы так и не получили свой дар: византийский наместник на Тенедосе отказался отдать им остров, хотя вскоре с радостью уступил его венецианцам. Султану Мураду повезло больше: к концу 1377 года Галлиполи вновь был в его власти.
Не совсем ясно, как Иоанну V и Мануилу удалось выйти на свободу, но через три года они смогли сбежать через Босфор в единственное доступное им убежище – лагерь Мурада неподалеку от Хрисополя. Добравшись туда, в обмен на восстановление на троне себя и своего отца Мануил пообещал султану повышенную дань, дополнительную военную помощь и – самое унизительное – город Филадельфию, последний византийский аванпост в Малой Азии. Стороны быстро пришли к соглашению. Турки предоставили войско, а венецианцы, сильно желавшие избавиться от Андроника, прислали небольшой флот, и 1 июля 1379 года два императора вновь вошли в Константинополь, вынудив Андроника IV бежать к его друзьям-генуэзцам в Галату. Мир восстановился лишь в апреле 1381 года. По условиям договора Андроника IV вновь сделали наследником престола, а преемником должен был стать его сын Иоанн VII; пока ему выделили небольшой надел на северном побережье Мраморного моря. Неизвестно, как отреагировал на это соглашение Мануил, который больше, чем кто-либо, имел заслуги перед своим отцом, но он больше не мог простить Иоанну V его пораженчество и наотрез отказался принять претензии турок на Балканский полуостров. Осенью 1382 года он вернулся в Фессалоники. На его счастье, невыносимый Андроник IV умер в июне 1385 года, что вновь сделало Мануила законным сонаследником того, что осталось от Византии.