Вскоре, 27 апреля 1902 года, епископ Антоний был назначен на Волынскую кафедру, и до архимандрита Фаддея стали доходить слухи, что и его могут перевести на другое место служения. 5 мая он написал епископу Арсению: «Теперь наши мысли заняты предстоящим вскоре отъездом (по-видимому, в середине мая) нашего, незаменимого для меня как духовного отца и руководителя, Владыки Антония. Правда, не в первый раз приходится нам провожать его, но всё же будущее покрывается каким-то облаком. Кроме того, – ожидание, что могут куда-либо вскоре переместить, хотя оно и не нарушает почти моего душевного равновесия. Вообще своим положением я доволен».
И действительно, 8 января 1903 года архимандрит Фаддей был назначен ректором Олонецкой духовной семинарии. В тот же день товарищ обер-прокурора Синода В. К. Саблер телеграфировал об этом в Житомир епископу Антонию.
26 января Уфимская семинария прощалась с инспектором. Отслужив литургию в семинарском храме, архимандрит Фаддей обратился к присутствующим со словом, в котором искренне и просто открывал перед ними свой внутренний мир.
«Хвалящийся хвались Господом (1 Кор. 1: 31; Иер. 9: 24). Эти слова, вызываемые в памяти читанной ныне евангельской притчей о мытаре и фарисее, невольно заставляют меня в нынешний день спросить самого себя – подлинно ли по имени моему10 было и житие мое, ибо имя, мной носимое, означает хвалу Господа, и оно всегда напоминало мне, что всю жизнь свою должен я направлять к прославлению имени Господа и не искать ни в чем собственной славы, – сказал он. – Но подлинно ли всегда я избегал славы человеческой и стремился делать все дела свои не для того, чтобы люди говорили мне „хорошо“, а для того, чтобы совершать во славу Божию вверенное мне дело?
Подобные размышления всегда приводили, а ныне особенно приводят меня в страх и усиливают мою печаль при прощании с вами: неужели уподоблялся я в жизни своей гробу окрашенному, будучи внутри исполнен тщеславия, нечистоты и прочих страстей? Страх этот невольно связывал мои уста и движение во всякое время – предстоял ли в молитвах за вас пред престолом Божиим, говорил ли что-нибудь на уроке или делал разные наставления и замечания: как может восходить к Богу молитва того, кто лишь на словах призывает Бога, в сердце же не имеет вполне крепкой веры в Него? Как может врачевать души слово того, кто сам не уврачевал себя от многих страстей?