Первое время арестованный содержался на Лубянке и в Лефортовской тюрьме. А в августе 1950 года его перевели Бутырскую тюрьму, где он находился вместе с уголовными преступниками.
В октябре отца Иоанна приговорили к лишению свободы сроком на 7 лет, и он был отправлен в Каргопольлаг (Архангельская область). Первое время батюшка трудился на лесоповале, но затем, по состоянию здоровья, его перевели в другое место.
После досрочного освобождения, состоявшегося в 1955 году, отец Иоанн был направлен в Псковскую епархию, а через непродолжительное время (в 1957 году) – в Рязанскую. За этот период он сменил несколько приходов. Это было вызвано неприязненным отношением к нему со стороны местных властей.
10 июня 1966 года отец Иоанн принял монашество, в 1967 году поступил в братство Псково-Печерской обители. В 1970 году он был возведен в сан игумена, а через три года, в 1973-м, – в сан архимандрита.
Помимо традиционных обязанностей, связанных с саном и должностью, отец Иоанн много времени уделял встречам и беседам с людьми, нуждавшимися в его наставлениях, молитвах, благословениях. Желающих встретиться с батюшкой было так много, что прием посетителей, начинавшийся после Божественной литургии, длился до позднего вечера, с небольшими перерывами на трапезу, а иногда продолжался и после полуночи.
Существенная часть богомольцев, искавших с ним личных встреч, почитали его как облагодатствованного, духоносного старца. И это неудивительно, ведь помимо многочисленных добродетелей отец Иоанн обладал духовною мудростью и, как отмечают, даром прозорливости. Между тем сам отец Иоанн, по смирению сердца, относился к себе более чем критично.
К концу жизни из-за слабости здоровья, отчасти подорванного во время заключения, отец Иоанн уже не мог принимать всех желавших общения с ним также активно, как раньше. Но со многими его связывала переписка.
5 февраля 2006 года отец Иоанн, причастившись святых Христовых Тайн, почил о Господе. Ему было 95 лет. Прощаясь, старцу отдали подобающие почести. На отпевании присутствовали архиереи, десятки священников и простых богомольцев, духовные чада почившего. Тело подвижника было погребено в священных пещерах Псково-Печерской обители.