– Не наше дело, – отвечал старец, – судить других. А удаляемся мы из общества братства не из ненависти к нему, а более для того, что мы приняли и носим на себе чин ангельский, которому не вместительно быть там, где словом и делом прогневляется Господь Бог. И потому мы, отлучаясь от братства, удаляемся только от слышания и видения того, что противно заповедям Божиим, как это случается неизбежно при множестве братии. Мы избегаем не людей, которые одного с нами естества и носят одно и то же имя Христово, но пороков, ими творимых, как и великому Арсению сказано было: «бегай людей, и спасешься». Но, испытав все трудности жития пустыннического, старец впоследствии пред-остерегал спрашивавших у него совета, что в монастыре иноки борются с противными силами, как с голубями, а в пустыне, как со львами и леопардами.
Пред смертью своею строитель Пахомий, принявший 16 лет назад молодого, жаждавшего подвига Прохора Мошнина в число Саровских послушников, благословил теперь иеромонаха Серафима на жизнь в пустыне. Отец Серафим заботливо ходил за умирающим наставником и благодетелем своим и горько оплакивал его. После его кончины он удалился 20 ноября 1794 года в лесную келию. Видимым предлогом для удаления послужила сильная болезнь ног, вследствие постоянного стояния на ногах. Келия, куда удалился отец Серафим, была расположена в дремучем сосновом лесу, на берегу реки Саровки, на холме, в 5–6 верстах от Сарова. В ней была изба с печью, сени и крылечко. Вокруг был небольшой огород, обведенный забором. Одна и та же убогая одежда была на отец Серафиме зимою и летом: белый полотняный балахон, кожаные рукавицы, кожаные чулки (бахили), лапти, старая камилавка. На груди был крест, материнское благословение. На спине он носил сумку, а в ней Евангелие.
Внешние труды его состояли в заготовлении дров и топке келии; впрочем, часто он, чтоб томить себя, терпел в келии мороз. Летом он обрабатывал огород, который удобрял мхом, собираемым в болоте. Во время этой работы он иногда обнажался до пояса, и множество насекомых безжалостно жалили его. Тело опухало, покрывалось запекшеюся кровью, а он терпел. Во время работы часто молитвенный восторг сходил на душу подвижника. Он любил петь в это время церковные песни, которых, при прекрасной памяти своей, знал множество наизусть. Особенно он любил «Всемирную славу», антифон «Пустынным непрестанное Божественное желание бывает». Случалось, что во время работы вдруг лопата или заступ выпадали из его рук, лицо его принимало дивное выражение, он стоял неподвижно, углубясь, в созерцание тайн духовных. В том же лесу жили отшельники отец Назарий, Марк и Досифей. Приходя иногда к отцу Серафиму, они заставали его в таком же положении, он их не замечал и, иногда прождав пред ним около часу, они так и уходили, не замеченные им. Молитвенное правило его было чрезвычайно обширно. Часто вместо вечерних молитв он клал зараз тысячу поклонов. Питался он в пустыне тем хлебом, который в воскресенье приносил с собой из Сарова и который, конечно, на третий день был сух и черств. И тем он делился с птицами и лесными животными, которые очень любили его и ходили к нему. Став на высокую ступень духовности, старец получил и тот дар, который был у первого человека и утрачен чрез грехопадение. Звери повиновались ему. Не раз видали его кормящим громадного медведя, который, по его слову, отходил в чащу леса, а потом возвращался опять. Кроме хлеба пищею ему служили овощи, выросшие в его огороде. Потом он ограничил себя одними овощами. Наконец, он дошел до неимоверного воздержания.