Если сам Витовт с трудом мог защищаться от ухищрений польской королевской канцелярии, то борьба с нею была совсем не под силу для Свидригайла. Королевские канцлеры, подканцлеры и секретари состояли из лиц духовных; а высшее польско-католическое духовенство, получавшее свое образование большей частью в Краковской академии и воспитанное на латинских классиках, было искусно и опытно в политике, особенно там, где дело касалось интересов католической церкви. Польская канцелярия приобрела в эту эпоху особую силу и влияние на государственные дела, благодаря как слабости и малообразованности короля Владислава-Ягелла, так и тому обстоятельству, что во главе ее стоял известный Збигнев Олесницкий, епископ Краковский, имевший сан кардинала, человек весьма твердого характера и высоких дарований.
Когда руководители польской политики увидали неуспех своей попытки смирить Свидригайла открытой войной, то они нашли другое средство, чтобы устранить неудобного для них великого князя. Они выставили ему соперника, которому помогли всеми своими средствами. Этим соперником явился младший брат Витовта — Сигизмунд Кейстутьевич, удельный князь Стародуба-Северского, дотоле ничем себя не заявивший и проводивший праздную, ничтожную жизнь. Поляки вошли с ним в тайные сношения и побудили его объявить свои притязания на великокняжеский престол. В то же время подкупом, обещанием наград и разными внушениями они постарались склонить на его сторону собственно литовских бояр-католиков, и без того недовольных влиянием на великого князя со стороны русских православных бояр. Беспечный и недальновидный Свидригайло находился со своим семейством и двором в Ошмянах, когда вспыхнуло внезапное восстание. Осенью 1432 года Сигизмунд явился в Литву во главе значительного вооруженного отряда и едва не захватил в плен самого Свидригайла; последний успел спастись бегством, а супруга его попала в руки неприятелей. Вильна, Троки и Гродна, с помощью измены, сдались Сигизмунду; вскоре вся собственно литовская часть великого княжества признала его своим государем. В Виленском кафедральном соборе совершено торжественное его коронование, причем прочтена была папская булла, разрешавшая литовцев от присяги Свидригайлу. Еще прежде того в Гродне, в присутствии польских сенаторов и Збигнева Олесницкого, Сигизмунд присягнул на верность польской короне, которой при этом отдавал земли Подольскую, Луцкую и уезд Городенский.
Между тем Свидригайло, удалившийся в Витебскую область, нисколько не думал уступить великокняжеский престол своему сопернику. За ним оставалась еще большая часть русских областей. Собравши значительные силы в землях белорусских и северских и получив помощь от своего зятя, великого князя Тверского, он вторгся в Литву; но действовал не совсем удачно и принужден был отступить. Более успеха имели его русские воеводы, действовавшие против поляков на юге, именно какой-то Михаил, потом Александр Нос и князь Федько Острожский; первый оборонял землю Киевскую, второй Волынскую, а третий Подольскую. Особенно отличился своими подвигами Федько, получивший помощь от соседних волохов и татар; он не только отразил вторжение поляков в Подолию, но и завладел главной крепостью, то есть Каменцом, выманив из нее посредством искусной тактики Бучацкого, которого разбил и взял в плен.
Во время этой междоусобной войны скончался польский король Владислав-Ягелло, достигши восьмидесятишестилетнего возраста. В мае 1434 года он отправился в Галицию, чтобы принять торжественную ленную присягу от молдавского господаря Стефана, и дорогой остановился в селении Медык, на берегах реки Сан. Сохраняя до глубокой старости литовскую страсть к охоте и лесной природе, он здесь вечерней порой долго пробыл в роще, чтобы послушать пение соловья; ночь была холодная; король схватил жестокую простуду и умер в местечке Гродек, немного не доезжая до Львова. Тело его было отвезено в Краков и погребено в кафедральном соборе Св. Станислава, а сердце положено во францисканском костеле того же Гродека. Так окончил свои дни этот достопамятный в летописях Восточной Европы государь. Плодом его долголетнего царствования являются, с одной стороны, Польско-Литовская уния, с другой — ослабление королевской власти в Польше. По своему положению выборного короля, по беспечному, уклончивому характеру и по своей расточительности он был таким именно государем, который требовался для польского дворянства и духовенства, чтобы они могли приобретать себе все большие и большие привилегии и расхищать государственные имущества. В свою очередь, столь желанная для поляков уния с обширными литовско-русскими областями сообщала политическое могущество Польскому государству; а польскому дворянству и духовенству представляла новые средства для обогащения и для дальнейших успехов католицизма в Восточной Европе. Продолжительность Ягайлова царствования в Польше (около 50 лет) много послужила в пользу этой унии; в особенности ей помогло то обстоятельство, что король пережил столь сильного поборника литовско-русской самостоятельности, каким был Витовт.
Еще при жизни Владислава-Ягайла наследником его короны польские вельможи избрали его сына. Немедленно после его смерти на сейме в Кракове это избрание было подтверждено за старшим из двух сыновей покойного короля, десятилетним Владиславом. Разумеется, коронная рада, со Збигневом Олесницким во главе, теперь окончательно захватила в свои руки управление, пользуясь малолетством нового короля. Она еще деятельнее стала поддерживать в Литве Сигизмунда как войском, так и другими средствами.
Вместо того чтобы воспользоваться своими русскими областями, сплотить их теснее и организовать сильное войско, Свидригайло искал главной опоры во внешних союзах, рассылал посольства и грамоты к императору Сигизмунду, к тевтонским и ливонским рыцарям, татарским ханам, воеводам Валахии и Молдавии; искал покровительства у папы и ради его приязни подавал ему надежду на церковную унию, то есть на подчинение русского духовенства папскому престолу. Эти сношения с папой и все более и более выступавшая наружу неспособность Свидригайла, естественно, охлаждали приверженность к нему православного населения, тем более что по своему действительно буйному, необузданному нраву он иногда казнил жестокой смертью тех знатных сторонников Сигизмунда, которые попадали в его руки. Например, одного из князей Ольшанских он велел в Витебске зашить в мешок и утопить в Двине; мало того, не пощадил самого митрополита Герасима, которого по смерти Фотия посадил на Всероссийскую митрополию. Неизвестно в точности, за какую вину (полагают, за тайные сношения с Сигизмундом) Свидригайло велел схватить Герасима и потом сжечь его живого; что и было исполнено в том же Витебске. Казнь не только ужасная, но и до того времени совсем неслыханная для подобных высоких сановников.
При таких обстоятельствах перевес в борьбе, естественно, склонился на сторону Сигизмунда. Решительная битва произошла в Жмуди на берегах реки Святой, где-то около Вилькомира. У Свидригайла были полки смоленские, витебские, полоцкие и вспомогательный отряд ливонских рыцарей. Начальство над своим войском он поручил племяннику Сигизмунду Корибутовичу, который отличался в Гуситских войнах и даже был избран гуситами в чешские короли. Войско Сигизмунда Кейстутьевича хотя было меньше числом, но лучше устроено; главную его силу составляли поляки; а начальство над ними он вручил своему сыну Михаилу. Битва была упорная и очень кровопролитная. Сторона Сигизмунда победила; разбитые полки Свидригайла рассеялись, оставив своего храброго, сильно израненного вождя в руках неприятеля. Множество русских князей и бояр, а также большая часть ливонских рыцарей полегли в этом бою (1435). Сам Свидригайло спасся бегством и удалился в Киевскую землю. Области Витебская, Полоцкая и Смоленская вслед за тем приняли Сигизмундовых наместников. Около того же времени Свидригайло лишился самого храброго и даровитого из своих сторонников мелких удельных князей Юго-Западной Руси, именно Федора Даниловича Острожского. Говорят, оскорбленный самим великим князем и угрожаемый взятием под стражу, он добровольно поддался польскому королю со всеми замками и областями Подолья, которые находились под его начальством; причем получил от него в ленное владение некоторые из этих замков и земель. Впрочем, очень возможно, что на отпадение Острожского повлияли новые постановления: во-первых, приказ, отданный Ягайлом во время борьбы Свидригайла с Сигизмундом и состоявший в том, чтобы никто не смел разрушать или опустошать русских церквей, а также приневоливать русина к принятию католической веры; во-вторых, объявленное при венчании Владислава III решение короля и вельможного совета, по которому русское дворянство сравнено в своих правах с польским. Эти обманчивые постановления, рассчитанные на то, чтобы не только удержать в повиновении королю Галицкую Русь, но и привлечь на свою сторону русское дворянство Подолии и Волыни, очевидно, произвели свое действие и приобрели полякам многих сторонников в сих землях, недоумевавших, куда примкнуть посреди трудных и запутанных обстоятельств того времени.
В руках Свидригайла еще оставались часть Подолии, значительная часть Волыни с городами Луцком и Кременцом и древний Киев, где начальствовал храбрый его воевода Юрша, который отразил нападение Сигизмунда. Однако, будучи не в силах более продолжать борьбу за великокняжеский престол, Свидригайло в 1437 году отправился в Краков и предложил со всеми своими землями быть ленником польской короны, умоляя своего племянника о заступничестве против Сигизмунда и действуя подкупом среди королевских советников. Но соперник его также не жалел денег на подкупы и требовал для себя земли киевскую, волынскую и литовскую часть Подолии. Когда его сторона в польской раде превозмогла, Свидригайло, имевший теперь резиденцию в Луцке, опасаясь попасть в руки своего злейшего врага, удалился из Руси и пребывал некоторое время то в Валахии, то в Угрии. Преувеличенные мнения о его сиротстве и бедности в ту пору даже породили ложный слух, подхваченный некоторыми историками, будто Свидригайло некоторое время находился в службе одного богатого волоха и пас его овец.