После смерти Святейшего Патриарха Тихона советскими властями была сделана еще одна попытка расколоть Русскую Церковь. Этот раскол должен был возглавить архиепископ Екатеринбургский Григорий (Яцковский), который после переговоров с Тучковым выразил свое согласие возглавить церковную группу иерархов. Но необходимо было привлечь к расколу архиерея, обладавшего бесспорным авторитетом, за которым пошли бы другие иерархи. И, конечно, желательно было, чтобы этот архиерей в данный момент находился в заключении и не имел полноценных сведений о происходящих в Церкви событиях.
В конце лета 1925 года архиепископа Илариона перевели в Ярославскую тюрьму, в политический изолятор «Коровники». Ему были даны всевозможные послабления – он находился в отдельной камере, и ему было разрешено читать любые книги, писать и даже после цензуры отправлять на волю написанное.
В его письмах этого периода он неизменно благодарит Господа за все, дарованное ему:
«Я уже привык не сидеть в тюрьме, а жить в тюрьме, как ты живешь в своей квартире… Зато есть у меня преимущества в моей жизни, из-за которых я согласен терпеть и разные нелепости… В самом деле. Имею здесь отдельную келью, с достаточным освещением, с почти достаточным отоплением – и все это бесплатно… Но главное… самое милое то, что я могу без помехи отдаться своей первой и постоянной любви – науке, с которой жизнь было меня совсем разлучила… Здесь… меня ничто и никто не отвлекает. Кроме двух часовых прогулок в день да нескольких минут на обед или чай – остальное время и провожу за книгами… Словом, у меня настроение и духовное содержание жизни такое же, как было пятнадцать лет назад. Не хватает одного – академической библиотеки. Будь академическая библиотека, я бы попросил здесь приюта не до конца этого года, а по крайней мере до конца этого десятилетия. Что же поделаешь, если место для науки, интересной и важной для меня, только в тюрьме?.. Ведь вот как устраивает Господь (через ОГПУ) жизнь мою: живу без нужды и без забот вот уже четыре года. Только и думаешь, какие и как книги достать. И это по моим указаниям добрые люди успешно исполняют… Вот и все мои заботы!»
В Ярославле с владыкой Иларионом дважды беседовал Тучков, который пытался склонить его к расколу, обещая свободу и сан митрополита. Тучков пытался льстить святителю: «Вас Москва любит, вас Москва ждет», пытался угрожать: «А сколько вы имеете срока на Соловках? Три года?! Для Илариона три года?! Так мало?» Но владыка ответил категорическим отказом. Там же, в Ярославле, в разговоре с обновленческим епископом Гервасием владыка Иларион сказал: «Я скорее сгнию в тюрьме, но своему направлению не изменю».