Но первая губернская реформа обнаружила и свои недостатки, среди которых было неэффективное трехуровневое управление. Это и стало причиной второй губернской реформы. Губернии были сохранены, но основной административной единицей становится провинция. Тогда же была предпринята попытка создать в провинциях независимый от исполнительной власти суд. В ведении провинциальных судов были гражданские и уголовные дела всех сельских жителей (исключая монастырских крестьян), а также горожан, не входящих в посад.
Губернская реформа нанесла удар по приказной системе. Многие приказы прекратили свое существование, их обязанности перешли к губернской администрации. Вслед за организацией губерний в 1711 г. вместо Боярской думы был организован Сенат. Он состоял из девяти человек, назначаемых монархом из старинной титулованной знати, малознатных родов, дельцов и дворян. Сенат являлся высшим законодательным, распорядительным и исполнительным органом при царе. Сенат был наделен широкими полномочиями. Так, он должен был заботиться о соблюдении правосудия, государственных доходах и расходах, явке дворян на службу и т.д. Кроме того, Сенат был органом надзора за правительственным аппаратом, причем надзор осуществлялся через фискалов. Вообще Петром I уделялось большое внимание созданию фискалитета и прокуратуры как контрольных учреждений.
С 1700 г. изменилось и положение церкви. В 1721 г. был создан Святейший Синод, занимавшийся церковными делами, например делами канонического характера, наблюдением за чистотой веры, борьбой с расколом, развитием духовных ценностей, цензурой и даже некоторыми вопросами семейного права. Этой реформой была упразднена власть патриаршества, церковь стала частью государственного аппарата.
В 1717–1721 гг. была упразднена сеть прежних государственных учреждений – приказов и по образцу Швеции создана система коллегий. Преимущество коллегий состояло в том, что они ведали определенными вопросами государственного управления и распространяли свою деятельность на всю территорию страны. Коллегии были подчинены Сенату. Система коллегий значительно упростила прежнюю путаницу ведомств. Коллегию возглавлял президент, при нем были советники и другие должностные лица. Нововведением стал и принцип коллегиального обсуждения текущих дел в коллегиях.