Утешившись обетованием Христовым: Блаженны вы когда будут поносить вас и гнать и всячески неправедно злословить за Меня (Мф. 5, 11), – святой Иоанн задумался: куда идти теперь? Он понял, что, если хочет высокого покоя, нельзя ему оставаться вблизи больших городов и вообще от человеческого жилья. Прежде ему доводилось слышать о Рыльской пустыне – безлюдных местах между реками Рыло и Ильинка, с отвесными скалами и темными ущельями, с глухими чащобами, по которым рыскали волчьи стаи и бродили медведи. Но после нападения разбойников святой Иоанн уже знал, что злые люди могут быть опаснее диких зверей. Немалый путь пришлось проделать искателю уединения, прежде чем он достиг Рыльской пустыни, углубился в нее и нашел пещеру, которая надолго стала его кельей. Там, уже никем из людей не тревожимый, он продолжил свой подвиг самоочищения в непрестанной молитве ко Пречистому Спасителю. Происходившее в те годы в душе святого Иоанна остается тайной между ним и Богом. Мы можем только догадываться, что угодник Господень доблестно претерпевал обычные для отшельника испытания: молитвою отражал страхования от зверей и искушения от диавола, радостью о Господе побеждал приступы уныния, огнем Божественной любви выжигал в себе малейшую нечистоту, и в этих подвигах торжества над своей человеческой немощью душа его мужала и возрастала, пока не высветлилась до равноангельности и преподобия – уподобления Самому Пречистому Господу Иисусу.
Прошло много лет, но преподобный Иоанн уже не замечал течения времени, он был поглощен сладчайшей беседой со Вселюбящим Богом, ему стало все равно – проходят мимо мгновения или века. Тем временем старший его брат-мирянин сумел-таки, несмотря на сиротство, добиться житейского благополучия, обзавелся своим хозяйством и семейством. Но в этой семье, похожей на прочих односельчан, не забывавшей посещать храм Божий, но большую часть времени отдававшей будничным делам, рос «неотмирный» сын – святой Лука, по духу подобный не отцу с матерью, а святому своему дяде Иоанну. Так же предпочитал он молитву житейским радостям и удовольствиям, так же жаждал отрешиться от всего земного в любви к Богу Небесному. Родители святого Луки порой вспоминали о родственнике – монахе, ушедшем куда-то в Рыльскую глушь, говорили о нем не без восхищения, но как о ком-то непонятном и бесконечно далеком. Но их сыну имя преподобного Иоанна ласкало слух, словно зов Небес, в его сердце зажглось и разгоралось желание – найти дядю-отшельника, научиться у него пустынническому житию, рядом с ним вкушать счастье близости ко Милостивому Господу. И однажды святой Лука тайком ушел из родительского дома. Когда он достиг Рыльской пустыни, его не испугали ни чащи, ни утесы, ни дикие звери. Племянник-ревнитель сумел отыскать убежище своего духоносного дяди.