В 1697 г. Петр I включил Я. В. Брюса в состав «Великого посольства», в ходе которого сложился новый антишведский союз в составе России, Саксонии и Дании. В 1700 г. Брюс был произведен в генерал-майоры артиллерии и в этом чине принимал участие в осаде Нарвы.
Однако начало Северной войны для союзников оказалось крайне неблагоприятным. Уже в 1699 г. после сильного обстрела шведскими корабельными пушками Копенгагена вышла из войны Дания. Петр I объявил войну Швеции 19 августа 1700 г., а 22 августа выступил с войсками из Москвы к Нарве. Но осада Нарвы затянулась. Недостатки военной организации, отсутствие хлеба и фуража привели к тому, что осаждающие стали испытывать бóльшие лишения, чем осажденные. Тем временем Карл XII подошел к Нарве, разбил русские войска, захватил всю артиллерию и взял в плен 79 генералов и офицеров. После этого поражения Брюс попал в опалу и даже был отрешен от должности. По прошествии года Брюс вновь был принят на службу в прежнем звании генерал-майора. Более того, Петр I поручил ему исполнять обязанности генерал-фельдцейхмейстера, главного начальника артиллерии. Этот чин и должность были введены в России в 1699 г.
Потерпев сокрушительное поражение под Нарвой, Петр I энергично взялся за восстановление и реорганизацию армии. В течение зимы 1700–1701 гг. было сформировано 10 драгунских полков и отлито 270 артиллерийских орудий. С 1702 по 1703 г. Я. В. Брюс занимал должность Новгородского губернатора. В этой должности он должен был отвечать за производство необходимого военного снаряжения и доставку его к местам сражений. В 1702 г. Петр принял решение овладеть шведскими крепостями на Неве. Сборным пунктом для войск была назначена Ладога. В начале сентября здесь находились с войсками Апраксин, Репнин, Шереметев. Все необходимое для похода военное снаряжение было доставлено сюда Брюсом. В конце сентября русские войска осадили крепость Нотебург (древнерусский Орешек), которая 11 октября капитулировала. Брюс в качестве начальника артиллерии находился при главной армии. По поводу этой победы Петр писал: «Правда, что зело жесток сей орех был, однакож, слава богу, счастливо разгрызен. Артиллерия наша зело чудесно дело свое исправила».
В конце апреля 1703 г. 20-тысячная русская армия под командованием генерал-фельдмаршала Б. П. Шереметева совершенно неожиданно для неприятеля появилась у стен небольшой крепости Ниеншанц, стоявшей у впадения реки Охты в Неву. В составе войска было и несколько батальонов под командой Якова Брюса. Шереметев, друживший с Брюсом, использовал его как опытного и знающего артиллериста. Подготовка к обстрелу крепости завершилась 30 апреля, а 1 мая после бомбардировки крепость сдалась. 16 мая 1703 г. недалеко от Ниеншанца Петр заложил новую крепость Санкт-Питербурх, основу будущей столицы Российской империи.
В качестве начальника артиллерии Брюс принимал участие в осаде Нарвы и Иван города в 1704 г., в войне в Польше в 1705 г. В 1706 г. в чине генерал-лейтенанта Брюс участвовал в сражении под Калишем. В 1708 г. он командовал левым флангом русской армии в сражении при Лесном. В Полтавском сражении 27 июня 1709 г. Брюс сыграл не меньшую роль, чем Петр I и А. Д. Меншиков. Он командовал всей русской артиллерией, состоявшей из 72 орудий. Прекрасное управление огнем вызвало восхищение у Петра I. После сражения Брюс получил из рук царя орден Св. апостола Андрея Первозванного.
В конце октября 1709 г. войска генерал-фельдмаршала Б. П. Шереметева осадили Ригу. Еще в дороге фельдмаршал, зная искусство Я. В. Брюса в артиллерийском деле, писал ему о планах Петра относительно взятия Риги и при этом уточнял: «… желаю вас видеть и посоветовать». Но у Петра для Брюса было другое поручение. В середине апреля 1710 г. под Ригу прибыл Меншиков. Он принял дополнительные меры по обеспечению более полной блокады города. Река Западая Двина была пересечена бревнами, скрепленными цепями, так что возможность подхода кораблей со стороны моря совершенно исключалась. В начале мая 1710 г. с артиллерией к Риге подошел Брюс и установил новые батареи. Началась жесточайшая бомбардировка города, которая продолжалась до 24 июня. Не выдержав бомбардировки, комендант крепости запросил перемирия. Начались переговоры, которые закончились 4 июля 1710 г. подписанием капитуляции. Петр I получил известие о взятии Риги 8 июля и туг же отправил Шереметеву поздравительное письмо: «…за труды ваши и всех, при вас будущих, зело благодарствую и взаемно поздравляю».
В 1711 г. Я. В. Брюс принял участие в Прутском походе Петра I. Поход проходил в тяжелейших условиях. Русская армия начала испытывать недостаток в продовольствии уже в начале июня. Жара выжгла траву, лишив лошадей подножного корма. Армия подошла к реке Прут 5 июня 1711 г. 30 июня русские войска перешли Прут и сосредоточились под городом Яссы. 7 июля от разведки были получены сведения о том, что конница крымских татар во главе с ханом уже соединилась с турками. 8 июля пленный татарин сообщил, что визирь назначил сражение на 10 июля. В тот же день разведке удалось установить приблизительную численность турецких войск. Баталджи-паша привел на Прут 170-тысячное войско при 469 орудиях. Турецкие войска почти в четыре раза превосходили русскую армию.
Сражение началось не 10, а 8 июля и продолжалось в общей сложности 36 часов. Были моменты, когда турки вплотную подходили к рогаткам, и казалось, вот-вот ворвутся в русский лагерь. Только губительный огонь артиллерии Брюса охлаждал пыл янычар и крымских татар. В ходе сражения потери русских составили 2872 человека, а у османов — 7000. После заключения Прутского мирного договора Я. В. Брюс был утвержден в звании генерал-фельдцейхмейстера.
В декабре 1712 г. шведский генерал М. Стейнбок вышел из Померании в Мекленбург, чтобы там напасть на союзные России датско-саксонские войска. Получив об этом известие, Петр I послал на помощь союзникам русские подкрепления во главе с А. Д. Меншиковым. Однако союзники были настолько уверены в своих силах, что решили разбить шведов без русских. Датско-саксонские войска атаковали шведскую армию Стейнбока при Гадебуше, но потерпели полное поражение. Подоспевший на помощь с войсками Меншиков вступил в командование соединенными русско-датско-саксонскими силами, а Брюс соединенной артиллерией. 12 февраля 1713 г. при Фридрихштадте армия Стейнбока, не выдержав натиска русских войск, отступила и укрылась в Тоннингене. Осада города продолжалась до лета 1713 г., после чего остатки шведской армии сдались.
В том же году царь направляет Якова Вилимовича в Германию для найма на русскую службу мастеров, а также выделяет ему средства для покупки произведений искусства. После возвращения на родину у Брюса начались неприятности. В конце 1713 г. вскрылись серьезные злоупотребления среди высших сановников государства. Используя свое высокое положение и доверие царя, они обогащались за счет государственной казны. Вельможи заключали подряды на поставку разного рода товаров, главным образом продовольствия, по завышенным ценам. Чтобы скрыть свою причастность к контрактам, дельцы из знати оформляли их не на собственное имя, а на подставные лица. В числе махинаторов оказались Ф. М. Апраксин, канцлер Г. И. Головкин, А. Д. Меншиков, А. В. Кикин и многие другие. В хищении государственного имущества был заподозрен и Я. В. Брюс.
По распоряжению Петра I для расследования махинаций была образована следственная канцелярия во главе с генерал-фельдмаршалом В. В. Долгоруковым. Против Брюса было выдвинуто обвинение в причастности к хищению государственного имущества. В оправдание Яков Вилимович ссылался на то, что по долгу службы почти постоянно отсутствовал в столице и не имел ни малейшей возможности обнаружить или предотвратить злоупотребления своих чиновников. Тем не менее суд признал вину Брюса и вынес приговор. Петр I, благоволивший к Якову Вилимовичу, освободил его от наказания, приказав только опубликовать приговор.
В 1717 г. Брюс уже сенатор и президент Мануфактур- и Берг-коллегий. В 1718 г. Яков Вилимович вместе с секретарем Посольского приказа Андреем Ивановичем Остерманом, имея при себе секретные инструкции Петра I, приняли участие в мирных переговорах со Швецией на Аландских островах. В 1721 г. Я. В. Брюс и А. И. Остерман в финском городке Ништадте подписали мирный договор со Швецией, положивший конец Северной войне. За Ништадский мир Петр I пожаловал Я. В. Брюсу графское достоинство и 500 крестянских дворов в Карельском уезде.