После небольшого отдыха у полковника Воронцова продолжилась обычная служба в Преображенском полку с каждодневными разводами и смотрами. Он продал квартиру, которая была на реке Мойка и начал делать ремонт в доме на Исаакиевской площади (в котором Михаил и родился). Отец (которому уже 63 года) советует ему в письмах в каком колорите наклеить обои на 2 этаже и просит привезти картины из имения Андреевского «…там около 20 красивых картин, которые я привёз из Италии и среди тех, что были у моего брата, то же много хороших». Он так же прислал в Россию три письма на имя матери Императора, с просьбой разрешить Екатерине Семёновне, которая до сих пор является фрейлиной выйти за муж за английского графа Пембрук.
Из французского плена вернулся и его друг полковник Дмитрий Васильевич Арсеньев, который в конце года был награждён орденом «Святой Анны». На одном из балов ему понравилась 27-летняя дочь генерал-порутчика Карла Рёне фрейлина великой княгини Анны Фёдоровны (супруги Константина Павловича) Каролина-Мария. Он предложил руку и вроде всё было принято «получило полную огласку». А затем ей через отца сделал предложение сын белорусского землевладельца и канцлера Иоахима Хрептовича гофмейстер двора Иринеюш-Михаил. Всё семейство Рёне приняло решение не в пользу Арсеньева. Дмитрий вспылил и вызвал на дуэль обидчика. Конечно, секундантом он пригласил своего друга Михаила Воронцова. Дуль состоялась в пригороде Петербурга, и Дмитрий Васильевич был убит. По законам того времени дуэли были запрещены и полагалось судебное преследование. Так как у Миши Воронцова было много покровителей, то смерть полковника Арсеньева официально показали, как несчастный случай. В приказе по полку было написано, что погиб на охоте. Император даже обещал заплатить за него денежные долги и похоронить со всеми военными почестями.
Следующий 1808 год полковник Михаил Семёнович Воронцов делал ремонт своего старого дома и продолжал служить в полку. Вот как он писал про это время: «…в течении 1808 года я оставался в Петербурге на службе полковником гвардии. С 1803 по 1815 это был единственный год, который я провёл в покое». Его сестра Екатерина Семёновна в январе будучи в Англии вышла замуж за генерала драгунского полка Джорджа Августа Герберта (11 граф Пембрук, 8 граф Монтгомери) и поселилась в поместье «