В Петроградской тюрьме епископ пробыл до 4 января 1922 года. После освобождения он был направлен Патриархом на служение в Тверь. В Твери епископ Петр восстановил в жизни приходов благочестивый обычай паломничеств к местным святыням. Он сам иногда отправлялся с духовными детьми в Торжок, за шестьдесят километров. Шли пешком, доро́гой владыка читал Акафист преподобному Ефрему, а сопровождавшие его паломники пели припев. В селе Марьино они останавливались на ночлег и на следующий день приходили в Торжок.
Весной 1922 года стали очевидны для всех размеры нового бедствия – голода, постигшего Нижнее Поволжье, и епископ Петр созвал совещание членов епархиальной канцелярии, существовавшей при Тверском архиепископе; на нем было решено немедленно приступить к сбору пожертвований. В это трудное время владыка стал служить каждый день как священник, утром и вечером.
Бывало, что кто-нибудь из прихожан, видя, что архиерей терпит нужду, отрезал от своего скудного пайка в сто граммов хлеба половину и, завернув в чистую бумагу, подавал владыке. Епископ Петр не отказывался: благодарил, улыбался и брал кусочек в пятьдесят граммов – зачастую это и была его еда за весь день. Невзирая на упреки, он отдал в пользу голодающих все сколько-нибудь ценные вещи из храма.
Летом 1922 года начался обновленческий раскол; раскольники, при поддержке светских властей, принялись за разрушение Церкви.
Некоторые священники – кто под воздействием соблазнительных аргументов, кто под угрозой физической расправы – присоединились к обновленчеству. Епископ Петр немедленно таковых запретил в священнослужении, предав факт запрещения широкой огласке, обратился к тверской пастве с воззванием, в котором изъяснял сущность обновленческого движения.
Цензура ГПУ отказала епископу в публикации обращения, а сам епископ был арестован 24 ноября 1922 года. Вместе с владыкой были арестованы трое священников и двое мирян.
Через неделю после ареста последовал перевод заключенных в Москву. А 26 февраля 1923 года они были отправлены в ссылку на два года за незаконное распространение воззвания против обновленцев.
В Ташкенте выяснилось, что отбывать ссылку им назначено в разных местах. Выйдя из комендатуры ОГПУ, перекрестились – за все слава Богу! – и отправились разыскивать друзей. Долго бы они, вероятно, искали, если бы Господь в самом начале их поисков не послал им навстречу знакомую женщину. Она довела их до дома при соборе, где была приготовлена для них трапеза и комната. В доме их уже ожидали члены соборного причта и благочестивые прихожане. К приходу ссыльных прихожане нанесли множество куличей, чаю, сахара, всем ссыльным подарили по рубашке из местной ткани. Одни остались с приехавшими, другие, забрав их документы, отправились на вокзал за билетами.