Сам батюшка с раннего детства видел вокруг лишь бедность, лишения и скорби: родился он в благочестивой, но очень бедной, семье сельского дьякона Илии Сергиева и жены его Феодоры, в селе Сура Пинежского уезда, Архангельской губернии, на далеком севере России. Младенец, появившийся на свет 19 октября 1829 года, был таким слабеньким и болезненным, что родители поспешили как можно быстрее окрестить его. Вскоре после крещения ребенок стал поправляться. Когда мальчик подрос, отец отвез его на последние средства в Архангельское приходское училище. Сперва учеба давалась Иоанну с трудом, он истово молился, прося Божией помощи, и вот однажды его «вдруг будто потрясло всего». С этого момента Иоанн стал учиться отлично: блестяще окончил училище, Архангельскую духовную семинарию и был бесплатно принят в Санкт-Петербургскую духовную академию. Окончив академию, Иоанн стал священником Андреевского собора города Кронштадта, где и протекала вся его пастырская деятельность. Поэтому многие забывали даже его фамилию «Сергиев» и называли его «Кронштадтский», он и сам нередко так подписывался.
Кронштадт в середине XIX века был весьма непривлекательным городом с десятками злачных заведений, а жили в нем в основном чернорабочие, матросы и портовые служащие, кроме того, обитало множество людей сомнительных занятий: нищих, безработных, а то и просто уголовников, в некоторых кварталах не рисковала появляться даже полиция. И вот в этом городишке, совсем, казалось бы, неприспособленном для евангельской проповеди, появился человек, который сумел донести до людей радостную весть о Христе. Его слова, точнее вся его жизнь, изменили судьбу сотен и тысяч обитателей жалких лачуг и землянок. Именно среди этих нравственно погибающих людей, презираемых всеми, начал подвиг своего самоотверженного пастырского служения молодой отец Иоанн. Он сам приходил в их жилища, выслушивал, старался помочь и утешить, ухаживал за больными, раздавая то немногое, что имел сам, порой возвращался домой без верхней одежды и даже без сапог. Естественно, что столь необычное поведение молодого священника вызывало вражду и нападки со всех сторон. Многие называли его юродивым, не признавали искренности его настроения, насмешничали, клеветали… Отца Иоанна вызывали к епархиальному начальству для объяснений, какое-то время ему даже перестали выдавать на руки жалование, так как он все до последней копейки раздавал нищим. Все эти испытания и глумления о. Иоанн переносил, ни в чем не изменяя своего образа жизни. И, с Божией помощью, впоследствии его стали прославлять за все то, над чем в первые годы пастырства смеялись, за что поносили, клеветали и преследовали.