Зимой 1699–1700 годов Яков Вилимович возвращается в Москву. Это было время подготовки России к войне со Швецией. Создавалась регулярная армия, принимались меры по организации производства материальной части артиллерии и подготовке артиллерийских кадров. Однако начавшиеся преобразования армии, в том числе ее артиллерии пришлось продолжить и завершить уже в ходе войны.
В мае 1701 года Я.В. Брюс назначается губернатором Новгорода и занимается укреплением обороны города, подготовкой артиллерии к предстоящим боям и сражениям с лучшей в Европе армией шведского короля Карла XII. В июне последовало производство Брюса в генерал-майоры артиллерии. Петра I явно расположен к Якову Вилимовичу, и не без оснований – Брюс едва ли не единственным из его ближайшего окружения, понимавший, что было необходимо для укрепления военной мощи России и дальнейшего совершенствования артиллерии.
Трагическое начало Великой Северной войны 1700–1721 годов не смутили Брюса. После пленения генерал-фельдцейхмейстера А.А. Имеретинского именно он был наиболее подготовленным для исполнения должности главы российской артиллерии. Однако официальная сторона этого вопроса была соблюдена несколько позже, а сначала Брюсу предстояло испытание в боевых делах. Временно же артиллерийское ведомство – Приказ артиллерии было поручено возглавить думному дьяку Андрею Виниусу.
Осада и штурм крепостей Ижорской земли Нотебурга (бывший Орешек) осенью 1702 года и Ниеншанца (апрель 1703 г.) были одними из первых сражений, в которых Брюс руководил применением артиллерии, и не без успеха. Сосредоточение осадной артиллерии у Нотебурга было связано с огромными трудностями. В некоторых местах часть осадных орудий перемещали волоком солдаты пехотных полков. Тем не менее, Брюсу удалось сосредоточить для осады крепости около 50 орудий. По Нотебургу было выпущено около 9000 снарядов, которые произвели большие разрушения. Артиллерия противника была подавлена огнём русских орудий. Пехота под руководством Б.П. Шереметьева 11 (22) октября штурмом овладела крепостью. Высоко оценивая действия артиллерии, руководимой Брюсом, Пётр I писал: «…Зело жесток сей орех был, однако счастливо разгрызен. Артиллерия наша зело чудесно дело своё исправила…». По велению Петра крепость была переименована в Шлиссельбург (ныне Петрокрепость), т. е. «ключ-город», в знак того, что путь в Неву теперь открыт…