До Святой Земли о. Анонин провел почти 15 лет на греческом Востоке: 10 лет – настоятелем русской посольской церкви в Афинах, которую сам и отстроил, а затем 5 лет – настоятелем русской церкви в Константинополе. В Афинах о. Антонин принимал участие в археологических экспедициях. Особый интерес у него вызывала эпиграфика – изучение византийских надписей на греческом языке. За десять лет пребывания в Афинах он обнаружил, переписал и исследовал 200 христианских надписей VI–VII вв. В Греции о. Антонин начал читать византийские рукописи, и это стало еще одним из его серьезных научных интересов. Из Афин он совершил свои первые поездки в Рим (1852), Иерусалим и Египет (1857), где познакомился с различными рукописными собраниями. В 1859 году о. Антонин впервые побывал на Афоне, где посвятил много времени исследованию древних рукописей и книг, а также описанию нескольких монастырских книгохранилищ.
Пять лет, проведенных в Константинополе, стали для о. Антонина самыми плодотворными в научном отношении. Заниматься раскопками здесь ему не пришлось, но зато было много работы с рукописями и надписями. В 1862 году архим. Антонин составил каталог 624 византийских рукописей библиотеки Иерусалимского Святогробского подворья в Константинополе. Работая над этим собранием, он первым обратил внимание ученых на уникальный рукописный сборник, содержащий текст раннехристианского произведения Дидахе, написанного на рубеже I и II веков и считавшегося утерянным. Имея опыт работы с рукописями в Константинополе и на Афоне, в 1870 году Капустин составил описание двух тысяч рукописей монастыря св. Екатерины на Синае – первый в истории каталог Синайского собрания.
В сентябре 1857 года о. Антонин впервые совершил путешествие на Святую Землю: ему как раз исполнилось 40 лет. Это путешествие было паломническим: Капустин провел на Святой Земле всего пять дней и даже не предполагал, что ему предстоит прожить в Иерусалиме 30 лет и что именно иерусалимский период его жизни станет самым наполненным и плодотворным. Удивительная особенность мировосприятия о. Антонина заключалась в том, что в древних руинах Святой Земли он видел не только великое прошлое, но и великое будущее. В современных ему нехристианах Капустин видел будущих христиан. Возвращение в Яффу из Иерусалима о. Антонин описывал так: «Трехчасовой последний мой путь по Святой Земле совершен был под самыми благими впечатлениями. Прошедшее представлялось сладким сном, будущее – великолепным праздником»