В 1806 году братия Саровского монастыря избирает игуменом отца Нифонта. При нем саровцы перестают заботиться о сестрах в Дивеево, а отец Серафим прекращает старческое попечение о братии. Со временем из дивеевской общины убыло сорок сестер. У отца Нифонта и большинства монахов, по-видимому, сложились сложные отношения с отцом Серафимом. Возможно, в лице него братия чувствовала незримый упрек в отходе от первоначальной простоты. Отец Серафим был монах, и другим монахам его поступки могли показаться слишком свободными и искусительными. Он носил простую, «мирскую», а не монашескую одежду, имел много общения с «мирскими» людьми, мог пойти наперекор принятому стилю жизни в монастыре… Конечно, он чувствовал свое особое призвание, но, возможно, в то время оно еще недостаточно выявилось и он сам еще не был готов к тому, чтобы полностью ему отдаться.
Так или иначе с 1807 по 1810 год отец Серафим – молчальник в пустыньке. Но братия монастыря, видимо, не может спокойно смотреть на то, что отец Серафим живет вроде бы рядом, но при этом как бы отдельно от них. В 1810 году отец Нифонт собирает монастырский собор, на котором принимается решение вернуть отца Серафима из пустыньки обратно в монастырь. Отец Серафим вынужден подчиниться этому решению, но вернувшись в монастырь, он тут же уходит в затвор и таким образом сохраняет свою отделенность.
В 1813 году отец Серафим открывает двери своей кельи, но, в основном, для мирян.
Молодое вино в новые мехи…
В 1821 году происходит исцеление помещика Михаила Мантурова, которому отец Серафим говорит: «Первого тебя врачую». Наступает новый этап служения отца Серафима. Ман-турову поручается строительство мельницы и материальное попечение о дивеевских сестрах. В результате к 1825 году количество сестер вновь увеличилось до пятидесяти. В это время Божья Матерь благословляет отца Серафима выйти из затвора, и он получает от игумена Нифонта разрешение удалиться в лес. Постепенно к отцу Серафиму начинают ходить дивеевские сестры, в том числе настоятельница дивеевской общины Ксения Михайловна. При этом Ксения Михайловна проявляет недолжное упорство и отказывается изменить устав общины на более мягкий. И сам отец Серафим со всем его духовным авторитетом не мог с ней справиться. Однако он не идет на то, чтобы отстранить Ксению Михайловну от настоятельства или разрушить сложившуюся общину. Принимается другое решение – о создании новой общины.