Из Москвы архиепископа Фаддея перевезли вместе с митрополитом Кириллом (Смирновым) во Владимирскую тюрьму. Митрополит Кирилл так вспоминал об этом: «Поместили в большую камеру вместе с ворами. Свободных коек нет, нужно располагаться на полу, и мы поместились в углу. Страшная тюремная обстановка среди воров и убийц подействовала на меня удручающе… Владыка Фаддей, напротив, был спокоен и, сидя в своем углу на полу, все время о чем-то думал, а по ночам молился. Как-то ночью, когда все спали, а я сидел в тоске и отчаянии, владыка взял меня за руку и сказал: «Для нас настало настоящее христианское время. Не печаль, а радость должна наполнять наши души. Сейчас наши души должны открыться для подвига и жертв. Не унывайте. Христос ведь с нами».
Моя рука была в его руке, и я почувствовал, как будто по моей руке бежит какой-то огненный поток. В какую-то минуту во мне изменилось все, я забыл о своей участи, на душе стало спокойно и радостно. Я дважды поцеловал его руку, благодаря Бога за дар утешения, которым владел этот праведник. Передачи в тюрьму для владыки Фаддея собирала Вера Васильевна Трукс. Архиепископ целиком отдавал их старосте камеры, и тот делил на всех».
Митрополит Кирилл вспоминал о случае прозорливости владыки Фаддея: «Однажды, когда поступила обычная передача, владыка отделил от нее небольшую часть и положил под подушку, а остальное передал старосте. Я увидел это и осторожно намекнул владыке, что, дескать, он сделал для себя запас.
– Нет, нет, не для себя. Сегодня придет к нам наш собрат, его нужно покормить, а возьмут ли его сегодня на довольствие?
Вечером привели в камеру епископа Афанасия (Сахарова), и владыка Фаддей дал ему поесть из запаса. Я был ошеломлен предсказанием и рассказал о нем новичку. Позже владыка отдал святому Афанасию еще и свою подушку, а сам спал, положив под голову руку. Одному из заключенных он отдал свои сапоги и остался в шерстяных носках».
В ссылке архиепископ Фаддей поселился в поселке, где вместе с ним были митрополит Кирилл (Смирнов), архиепископ Феофил (Богоявленский), епископы Николай (Ярушевич), Василий (Преображенский) и Афанасий (Сахаров).
А в Астрахани ожидали приезда архиепископа Фаддея с нетерпением. После своего назначения 13 марта, владыка прислал в Астрахань своему викарию епископу Анатолию (Соколову) письмо, в котором он уведомлял о том, что он не может приехать в Астрахань раньше апреля, т. к. призван Святейшим Патриархом Тихоном к участию в делах Священного Синода. В письме архиепископ Фаддей просил епископа Анатолия (Соколова) прислать ему в Москву доклад о состоянии епархиальных дел. Епископ Анатолий передал приветствие астраханской пастве от владыки Фаддея и часто после богослужений рассказывал о его добродетелях и о скором приезде в Астрахань. Но владыка Фаддей не приехал в апреле, как обещал. А вскоре астраханцы узнали о его аресте.