В 1664 году по приказу Алексея Михайловича был составлен «Чертеж города Витебска», сохранившийся до наших дней средневековый облик города.
В мае 1667 года по Андрусовскому перемирию Витебск был возвращен Речи Посполитой. Король Ян Казимир освободил город от налогов на 4 года и «амнистировал» горожан за 13 лет жизни в «московском» Витебске.
С 1700 по 1708 год во время Северной войны через Витебск неоднократно проходили русские, шведские и польские войска. Грабили и разоряли город все, брали деньги, фураж, продовольствие.
В 1701 году в Витебске располагался штаб Петра I, бывшего в городе также в 1705 и 1708 годах. «Летопись города Витебска» пишет про 1701 год: «19 февраля 1701 года царь Петр Алексеевич выехал в Витебск с небольшой силой, но стройно; остановился у бурмистра Зафатая. Дал возможность видеть себя почти всему народу; на третий день выехал из Витебска в Биржу». Петр I останавливался в Копыси, Орше, Дубровно. В 1708 году в Бешенковичах располагалась его главная квартира.
Осенью 1708 года в Витебск с доносом на гетмана Ивана Мазепу приезжали Кочубей и Искра. Тогда же Петру I донесли, что жители Витебска помогали польскому королю Станиславу Лещинскому, ставленнику шведов. Горячий московский властелин приказал своим войскам сжечь город, что и было сделано в сентябре 1708 года.
Были уничтожены замки, ратуша, весь город, все посады, 12 церквей и 4 костела. Город пришел в упадок и был восстановлен только к середине XVIII века. Восстановлению мешали пожары 1752 и 1757 годов. Укрепления Витебска после этого уже не восстанавливались.
Сам Витебск, несмотря на пожары и эпидемии, возродился и стал вторым по величине после Могилева белорусским городом. В городе проживало около 6000 жителей, было 40 каменных зданий, из них 7 костелов и 16 униатских церквей.
По первому разделу Польши 1722 года Витебск вошел в состав Российской империи, сначала как уездный город Псковской губернии, с 1776 года – Полоцкой губернии, с 1796 года – центр Белорусской губернии, с 1802 года – центр Витебской губернии. В городе проживало более 10 000 человек. На красивом берегу Западной Двины был построен дворе губернатора. В Витебске работало несколько училищ, включая реальное, в 1808 году преобразованное в мужскую гимназию, одну из первых в Беларуси и первое в Беларуси светское женское училище.