Восьмого сентября 1941 года по поручению члена ГКО Маленкова Серов вылетел в осажденный Ленинград для изучения обстановки и последующего доклада. Он остался удручен недостаточной высотой боевого духа защитников города и слабостью оборонительных укреплений. Разговор с Ворошиловым и Ждановым лишь усилил разочарование. По возвращении, изложив свои наблюдения Маленкову, Серов не услышал от него никаких комментариев. А через несколько дней – 14 сентября – Жуков сменил Ворошилова в должности командующего Ленинградским фронтом>97.
Через месяц после нападения Германии на СССР, 20 июля 1941 года, наркоматы внутренних дел и государственной безопасности были объединены в один Наркомат внутренних дел СССР. Серова 30 июля 1941 года назначили заместителем наркома внутренних дел СССР. Его начальником вновь стал Лаврентий Берия. С ним Серов работал в тесном контакте вплоть до декабря 1945 года, когда Берия оставил свой пост в НКВД. По представлению Берии 4 февраля 1943 года Серову присвоено специальное звание «комиссара госбезопасности 2 ранга», соответствовавшее генерал-полковнику в армии. При переводе после войны сотрудников НКВД и НКГБ на армейские звания 9 июля 1945 года Серов получил чин генерал-полковника. Берия высоко ценил Серова и при вторичном разделении НКВД в апреле 1943 года, когда НКГБ вновь выделился в самостоятельный наркомат, оставил его работать своим заместителем в НКВД.
В 1941 году часть аппарата НКВД была эвакуирована в Куйбышев и Свердловск, но Серов оставался в Москве. В наиболее острый момент, когда Москва могла быть захвачена стремительно наступавшими немецкими войсками, Серова 12 октября 1941 года назначили начальником охраны НКВД Московской зоны. В связи с приближением фронта к столице в его задачи входило «наведение жесткого порядка на тыловых участках». Согласно директивам Государственного комитета обороны (ГКО), Московская зона охраны НКВД была разбита на 7 секторов, отвечавших за «очистку зоны от всех сомнительных и подозрительных элементов, усиление борьбы с дезертирством, наведение порядка на дорогах». Однако в связи с пребыванием Серова в начале октября 1941 года в «спецкомандировке»>98 до его возвращения руководить охраной НКВД Московской зоны временно поручили другим заместителям наркома внутренних дел – В.Н. Меркулову и Б.З. Кобулову.