Иоанн был дальновидным, обладавшим хорошими организаторскими и хозяйственными способностями человеком. Он был начитан, красноречив и владел даром убеждения. К 1700 году Иоанн сумел организовать совместное житие монахов, пожелавших остаться на Саровской горе. Первые монахи селились самостоятельно, и их поселение не имело какого-либо статуса. Жизнь монахов на Старом городище необходимо было официально оформить, урегулировав отношения и с государственным, и с церковным управлением.
Лучшим способом решить эту задачу было построить церковь на Саровской горе. К строительству церкви иеросхимонаха Иоанна побуждал вышедший царский указ – считать всех монахов, живших без церквей, раскольниками. Он всецело занялся устройством монастыря. Несколько лет он провел в Санкт-Петербурге, оформляя необходимые для строительства документы. Он был известен и почитаем в царской семье. Благодаря своей настойчивости и связям в столице в начале 1706 года отец Иоанн сумел получить Высочайшее разрешение Петра I и местоблюстителя Патриаршего престола Стефана Яворского на строительство церкви во имя Пресвятой Богородицы и Ее Живоносного Источника.
В феврале 1706 года начали валить лес, в мае на городище уже высился сруб, 16 июня 1706 года первый храм Саровской пустыни был освещен. Эта дата считается днем основания Саровского монастыря.
Деятельность отца Иоанна не ограничивается только внешним устройством пустыни. Вместе с первой церковью возникает монашеское общежительное братство. Иоанн с единодушного согласия приступает к написанию устава Саровской обители. Через месяц после освещения церкви Иоанн собрал всю братию, жившую на Саровской горе, и предложил им устав, написанный по строгим древним образцам. Впоследствии этот устав послужит образцом для многих монастырей России.
Насколько строги были правила Саровского монастыря, настолько же суров был и быт монахов. Все нужное для жизни добывалось собственным трудом. Одежда монахов была простой: летом балахоны из холста, зимой тулупы. Жили они в деревянных кельях. Территорию монастыря обнесли оградой. После постройки первой церкви поставили еще два храма, трапезную и кельи для гостей. К 1711 году был готов пещерный город с подземной церковью.
Большую деятельность вел о. Иоанн по приобретению земли для монастыря. К 1729 году у Саровской обители были 22 тысячи десятин. Императрица Анна Иоановна своим Указом от 25 октября 1730 года «…все земли, сенные покосы и рыбные ловли» утвердила за Саровской пустынью навечно, «…не в пример другим».