Отец Иоанна, Илия Михайлович Сергиев, был не очень грамотным человеком, однако служил псаломщиком в местном бедном храме: даже священные сосуды в церкви были оловянные.
Известно, что дед отца Иоанна был священником так же, как и большинство предков по отцовской линии на протяжении, по крайней мере, 350 лет.
Впоследствии отец Иоанн рассказывал игумении Таисии: «Отец мой родился в 1802 году. В 1824 году он окончил учение в духовном уездном училище, в 1828 женился, а в 1829 году я, по милости Божией, родился на свет». «Родители мои были бедны; притом отец постоянно хворал; от тяжелых трудов у него сильно болел живот, в котором были не то грыжа, не то рак, от которого он умер рано, 48 лет, в 1851 году».
Феодора Власьевна, мать отца Иоанна, прожила сравнительно долго и увидела славу своего сына. Она была женщиной простой и глубоко верующей. Мальчиком он был слаб здоровьем, часто болел, однажды едва не умер от оспы. Не раз Иоанн видел, как мать молилась в слезах перед иконой, и сам учился глубокой проникновенной молитве.
Простая, строгая и нежно любящая мать умела поддержать и развить в сыне молитвенное настроение, безграничную преданность Церкви Христовой и полную покорность ее святым уставам, любовь к Богу и людям.
Священник и учитель нравственности отец Иоанн всю жизнь в особо важных случаях обращался за советом к матери, хоть она была и неграмотна. С самого раннего детства отец Иоанн представлял собою идеал послушания, покорности и нежной сыновней любви к родителям. Доброе семя, посеянное благочестивыми родителями, прорастало в душе мальчика и уже в детстве приносило плоды. Он умел сострадать чужому горю, и односельчане нередко просили его помолиться, замечая в нем этот особый, благодатный дар.
В отрочестве отец Иоанн не раз удостаивался чудесных явлений. С его слов игуменья Таисия рассказывает: «Однажды ночью Ваня увидел в комнате необычный свет. Взглянув, он увидел среди света Ангела в его небесной славе. Младенец смутился. Ангел успокоил его, назвавшись Ангелом Хранителем».
В 1839 году отец, с большим трудом собрав скудные средства, отвез Иоанна в Архангельское приходское училище. Однако учение на первых порах шло крайне туго: мальчик занимался целые дни и все равно не успевал. Его мучила мысль о родном доме, о нищете родителей; именно в это время он научился с особой болью ощущать чужую скорбь.