22 июля 1863 года преосвященный Феофан был перемещен на Владимирскую кафедру.
Непродолжительно было служение епископа Феофана и во Владимире, но и здесь он проявил себя ревностным архипастырем и успел заслужить всеобщее уважение и любовь. За плодотворную архипастырскую деятельность во благо Церкви преосвященный Феофан был награжден орденом Святой Анны II степени и Святой Анны I степени.
После двадцатипятилетнего служения Церкви на различных поприщах преосвященный Феофан нашел благовременным осуществить свое всегдашнее стремление. Посоветовавшись со своим давним духовным руководителем митрополитом Исидором, он подал прошение в Святейший Синод об увольнении его на покой с правом пребывания в Вышенской пустыни Тамбовской епархии. Ходатайство владыки было удовлетворено, и он 17 июля 1866 года был освобожден от управления епархией и назначен настоятелем Вышенской пустыни, где повел свою жизнь как ученый инок.
Вскоре он подает новое прошение – об освобождении его от должности настоятеля. Святейший Синод удовлетворил его просьбу. Долгожданное уединение, к которому так настойчиво стремился святитель, наконец пришло, по милости Божией. Об этом времени святитель говорил: «Выши своей не променяю не только на Санкт-Петербургскую митрополию, но и на патриаршество, если бы его восстановили у нас и меня назначили бы на него… Вышу можно променять только на Царство Небесное».
В первые шесть лет своего пребывания в Вышенской пустыни преосвященный Феофан не уединялся окончательно. Вместе с иноками обители он ходил ко всем церковным службам, а в воскресные и праздничные дни сам совершал литургию в сослужении братии. После пасхальных дней 1872 года он начал вести затворническую жизнь. Он прекратил всякие сношения с людьми, перестал ходить в монастырский храм на богослужение и затворился в отдельном флигеле. С этого времени он принимал только настоятеля пустыни, духовника игумена Тихона и келейника отца Евлампия. К этому времени епископ Феофан устроил в своих келиях малую церковь во имя Крещения Господня, в которой служил Божественную литургию во все воскресные и праздничные дни, а в последние одиннадцать лет ежедневно.
В богослужении и молитве, в подвигах телесных и духовных проходила бо́льшая часть затворнической жизни архипастыря. В свободное от духовных подвигов время он занимался учено-литературными богословскими трудами, писал множество писем к разным лицам, обращавшимся к нему с недоуменными вопросами, с просьбами о помощи и наставлениях. Уйдя из мира и почти не встречаясь с людьми, епископ-затворник интересовался жизнью Церкви и своей Родины. Он выписывал много журналов. В кабинете у него была огромная библиотека. При написании своих произведений святитель использовал обширную литературу на русском и иностранных языках.