В первые годы правления Павла I карьера П.В. Завадовского еще более пошла вверх: в день своей коронации, 5 апреля 1797 года, император пожаловал Петру Васильевичу графское достоинство, орден Св. Андрея Первозванного и орден Анны 1-й степени. Завадовский продолжил заседать в совете при Высочайшем дворе, в Сенате, в Воспитательном обществе, управлять Заемным банком. В 1798 году он был назначен главным директором Ассигнационного банка по личному распоряжению Павла I.
8 января 1799 года Завадовскому был пожалован командорский крест Иоанна Иерусалимского, после чего Павел I посетил бал у Петра Васильевича – по тем временам это был высший знак монаршей милости. Но благосклонность императора Павла, как известно, была переменчива, и уже 6 ноября 1799 года Завадовский был уволен от службы и выслан из Петербурга в свое имение – село Ляличи, где и пребывал до смерти Павла. Там за Завадовским был установлен негласный надзор; из донесений надзирателя мы знаем, что он вел жизнь скромную и тихую, занимаясь хозяйством и домостроительством, а также много читал.
Сразу же после вступления на престол Александра 1,12 марта 1801 года, П.В. Завадовский был вновь вызван ко двору и назначен членом Непременного совета, сенатором, а с 5 июня того же года – председателем Комиссии составления законов. Он активно участвовал в проектировании реформ в первые годы правления императора Александра.
Как сенатору, Завадовскому почти сразу же было поручено подготовить доклад обо всех указах, касающихся деятельности Правительствующего сената с момента его учреждения. Петр Васильевич не только выполнил это поручение, но и подготовил свою записку «О правах и преимуществах Сената», состоявшую из двух частей. Первая часть представляла историю Сената. Правда, автор записки выбрал только те моменты в развитии этого учреждения, которые выражали его собственную позицию по данному вопросу. Он подробно описал историю Сената в первые годы его существования (1711–1718), когда он действительно имел черты верховного органа управления страной. Далее Завадовский красочно разъяснил причины «падения Сената», которые он видел в том, что «властолюбивые лица, пользуясь доверенностью государевою, стремились к тому, чтоб им, а не местам властвовать в делах». При этом Сенат стал окончательно бессилен перед генерал-прокурором, имеющим право наложения вето на любое решение сенаторов.