Будущий митрополит родился 15 декабря 1872 г. в г. Устюжна Новгородской губ. в многодетной мещанской семье. Его отец, Семен Кириллович, был булочником, а мать, Евдокия Ивановна (урожденная Ганьковская), занималась домашними делами. В семье Петровых было девять детей: Андрей, Иван (будущий Владыка Иосиф), Александр, Сергей, Петр, Николай, Клавдия (позже в тайном постриге), Мария и Антонина. Крещен младенец Иван был, как и все его братья и сестры, в приходской церкви Вознесения Господня на Всполье. Глубокая вера и стремление послужить Богу отмечались у него с раннего детства. Несмотря на природные дарования и огромные способности мальчика, надежды на учение почти не было, но Божиим Промыслом Ване Петровых суждено было получить прекрасное духовное образование[38].
В 1880 г. по рекомендации священника Вознесенской церкви мальчик был принят в Устюженское Духовное училище и успешно окончил его в 1889 г. Затем Иван поступил в Новгородскую Духовную семинарию, которая располагалась в обители преподобного Антония Римлянина. После окончания семинарии в 1895 г. в числе лучших ее воспитанников Иван был принят на казенный счет в Московскую Духовную Академию. В дни каникул он работал при храмах и монастырях, приводя в порядок церковные документы. Закончив учебу первым магистрантом 11 июля 1899 г., И. Петровых был 16 августа оставлен профессорским стипендиатом при Академии. Будучи в стенах Троице-Сергиевой Лавры, Иван Семенович проявил себя усидчивым, способным к науке. По заданию Академии Наук он по специальной программе записал северный народный говор, получив за успешно выполненную работу одобрение.
9 сентября 1900 г. И.С. Петровых был утвержден исполняющим должность доцента Академии по кафедре Библейской истории. Но карьера ученого не привлекала его, стремившегося к своей давней мечте – иночеству. Зародилась она еще в то время, когда Иоанн Семенович был семинаристом. Студентом Академии он любил посещать святые обители и святые места. Там черпал силу и получал благодатную помощь Божию. Им были совершены паломничества в Соловецкий монастырь, во святой град Иерусалим, на святую гору Афон, в Ново-Афонский монастырь. Во времена зимних каникул, уклоняясь от светских развлечений и увеселений, Иван Семенович уезжал в любимый им Антониев монастырь в Новгороде. Именно там он и провел последние недели лета 1901 г., готовясь к иноческому постригу, уходя в себя и сосредоточиваясь в молитвах.