В горах Абхазии, где подвизался отец Мардарий, пустынножители появились давно. «Огромные горы, – пишет один современный исследователь, – среди которых человек кажется таким ничтожно маленьким, молча взирающие на проносящиеся мимо них столетия, возникающие и бесследно исчезающие города, племена и целые государства. И ничто не оставляет на них следа. Абсолютное, с трудом понимаемое не испытавшими его, белое безмолвие горных вершин, и тут же покрытые густыми лесами огромные долины и ущелья без всяких признаков обитания человека, настоящие пустыни, где легко можно затеряться, уйти из мира».
В начале шестидесятых при Хрущёве наступила новая волна гонений против Церкви и верующих. В массовом порядке закрывались храмы и монастыри. Предъявлялись требования по сокращению монастырских штатов, ограничению прописки иногородних. Иноки и послушники, оставшиеся вне стен обителей, вставали перед выбором: либо жить в миру на нелегальном, гонимом положении, либо скрываться в удаленных местах от преследований. Наличие на Кавказе тайной монашеской жизни и опытных наставников притягивало гонимых. В горах вновь растет число скитов и келий. Монашеские общины обосновываются в Цебельде, Азанте, Амткеле, Двуречье, Псху и других местах.
Когда батюшка приехал в Сухуми, то не сразу пошел в пустыню, потому что услышал, что уже лет десять в подвале одного погреба подвизается у благочестивых матушек в полной темноте один затворник Александр. И только ночью выходит погулять. Никто из соседей даже не знал об этом. Время было такое.
Отец Мардарий узнал, где он живет, и поехал к нему. Поселился рядом. Матушки нашли для него полуподвальную комнатку, и он там целый год жил в затворе, испытывая себя. Никуда не выходил, только ночью гулял по палисаднику.
Из затворнической жизни у матушек отец Мардарий рассказал один случай: «Слышу, одна матушка криком кричит, как будто режут». Что такое?! Прибегаю. А она пальцем себе глаз выдавливает! «Ты что делаешь?!» – «Вот, в Евангелии написано, что если глаз тебя искушает, то лучше вырви его!»
Ну, я ее вразумил. Но глаз у нее так и остался немного поврежденным.
Вскоре скончался затворник Александр. В еде он был неприхотливым, а тут попросил матушку, чтобы она напекла пирожков на завтра. Она напекла, а он уже умер. Как раз ему на поминки. Наверное, предвидел свою кончину.