В 1127 г. киевский князь Мстислав I Владимирович послал огромное войско в Полоцкую землю, опустошил ее и заставил полочан покориться, но ненадолго. В 1129 г. Мстислав выслал всех полоцких князей в Византию и посадил в Полоцке своего сына Изяслава. Правление сыновей Мстислава в Полоцке продолжалось недолго. Уже в 1132 г. в Полоцке снова появился представитель полоцкой линии Рюриковичей, Василько Святославич.
После смерти Василько Святославича началась борьба за Полоцк между представителями трех линий потомков Всеслава Чародея – Витебской, Минской и Друцкой. С этого времени сведения о правителях Полоцка отрывочны, а после 1186 г. и вовсе практически пропадают. В это время Полоцкое княжество постепенно слабело и все больше дробилось; со временем оно начало подпадать под влияние смоленских князей. Часть полоцких городов в конце концов отошла к Смоленску, а владения в низовьях Западной Двины захватили немецкие крестоносцы; в политические дела Полоцка стали вмешиваться, кроме смолян, Чернигов и Новгород; начались нападения литовцев и немцев.
В конце XII в. в Полоцке утвердилась Витебская линия, представители которой правили до 1215 г.
В то же время в Полоцке сел княжить Борис Всеславич из Друцкой линии. Неспособность князя Бориса сдержать наступление литовцев, о котором есть сведения у польского хрониста М. Стрыйковского, а также потеря влияния в землях латышей привели к бунту полочан, отраженного в запутанной «Повести про Святохну». Этим воспользовались смоленские князья. 17 января 1222 г. смоленский князь Мстислав Давыдович захватил Полоцк и посадил там своего племянника Святослава Мстиславича, сына тогдашнего киевского князя. Но около 1232 г. в Полоцке снова сел представитель Витебской линии – Брячислав. Он был последним представителем династии Рюриковичей в Полоцком княжестве.
В русских летописях он упоминается в 1239 г., когда на его дочери Василисе (в крещении Александре) женился будущий великий князь Владимирский Александр Невский.
В начале 1240-х гг. в Полоцке утвердились литовские князья. «Хроника Быховца», правда, указывает, что они осели в Полоцке еще в 1190 г. По ней литовский князь Мингайло завоевал Полоцк и посадил в нем своего сына Гинвила, принявшего в православии имя Борис. Но никакие другие источники это не подтверждают. Возможно, Полоцк был отдан литовскому князю Товтивилу, зятю Брячислава Полоцкого, как приданое дочери. Существует версия, что Полоцк был захвачен Литвой, но никаких доказательств этой версии нет.