В Полоцке после изгнания Андрея Ольгердовича княжил сын Кейстута Андрей по прозвищу Горбатый. Ягайло и его фавориту Войдылло хотелось отнять эту волость у Кейстутовича и отдать ее Скиригайло – родному брату Ягайло.
Скиригайло (Скиргайло) был сыном Марии Александровны Тверской. Как и отец, он наряду с православными обрядами не брезговал и языческими. В литовской глубинке это лишь прибавляло ему популярности, но в Полоцке выполнение языческих обрядов кончилось для Скиригайло печально. Разъяренная толпа горожан привязала князя задом наперед к старой кляче и под свист и улюлюканье погнала ее к городским воротам. В Придвинье еще и сейчас жива поговорка: «Поехал, как Скиригайло с Полоцка». Наука пошла Скиригайло на пользу: вернувшись через несколько лет в Полоцк как великокняжеский наместник, он крестился, принял православное имя Иван и вел себя как примерный христианин.
Великий князь Литовский Ягайло выслал в Псков против Андрея Кейстутовича войско, к литовцам присоединились и немцы, но полочане объявили, что скорее сдадутся немцам, чем Скиригайло, и отразили все приступы литовцев.
Князь Кейстут, узнав о полоцких событиях, пожаловался своему сыну Витовту на Ягайло: «За Войдылла отдал мою племянницу, уговорился с немцами на мое лихо, а вот теперь с кем мы воевали? С немцами? А он с ними заодно добывает Полоцка». Витовт ответил, что не верит в такое коварство Ягайло, и выехал в Дрогичин, а оттуда—в Гродно. Однако старик Кейстут не разделял сомнений сына и решил для собственной безопасности опередить Ягайло. Он неожиданно явился с большой ратью под стенами Вильно, занял город, взял в плен Ягайло со всем семейством, захватил все грамоты, в том числе и последний договор Ягайло с немцами. Ягайло был вынужден обещать никогда не воевать против Кейстута, и тогда его отпустили в Витебск.
На некоторое время великим князем Литовским стал Кейстут, но вскоре Ягайло удалось обманом захватить Кейстута и Витовта, и через пять дней старый дядя был удушен в тюрьме. А тяжелобольного Витовта и его жену Анну Ягайло вывез в Крево, где держал под усиленной стражей. Витовт вскоре поправился, но посчитал нужным еще попритворяться хворым. Жена ежедневно навещала его вместе с двумя служанками. Наконец она получила от Ягайло разрешение только для одной себя ехать в Моравию. В ночь перед отъездом Анна пришла проститься с мужем и задержалась у него дольше обычного: в это время Витовт переодевался в платье одной из служанок, Елены, которая осталась вместо него. Витовт спокойно вышел с женой из тюрьмы, нашел лошадей, высланных из Волковыска от тамошнего тиуна, и вскоре был в Слониме, оттуда поехал в Берестье и на пятый день был в Полоцке. Елена, не вставая с постели, так хорошо изображала больного князя, что только на третий день Ягайло доложили о его бегстве. Разгневанный князь велел убить служанку.