В этот период Серебрянский познакомился с Яковым Блюмкиным, который привлек его к участию в Гилянской экспедиции (Персия). С июля 1919 года Серебрянский – нач. Общего отдела ОО (Особый отдел – военная контрразведка) Персидской Красной Армии в г. Решт (Иран).
После поражения Гилянской республики Серебрянский направился в Москву. В мае 1920 года поступил на службу в центральный аппарат ВЧК. С августа 1920 года – сотрудник УОО (Управление Особых отделов) ВЧК. С сентября 1920 года – секретарь Адморготдела, а с декабря 1920 года – АОУ ВЧК. С августа 1921 года, после увольнения из ВЧК по демобилизации, работал в газете «Известия» в Москве.
2 февраля 1921 года арестован сотрудниками ВЧК как правый эсер. Находился под следствием. 29 марта 1922 года Президиум ГПУ, рассмотрев вопрос о принадлежности Серебрянского к эсерам, вынес решение: его из-под стражи освободить, взять на учет, однако «лишить права работать в политических, розыскных и судебных органах, а также в НКИДе».
В 1922–1923 годах – сотрудник, зав. канцелярией Нефтетранспортного отдела треста «Москвотоп». Был арестован по подозрению во взяточничестве. Находился под следствием по делу треста. Был взят на поруки и освобожден.
В октябре 1923 года стал кандидатом в члены ВКП(б) и уже в ноябре 1923 года, при содействии Блюмкина, принят на работу особоуполномоченным Закордонной части ИНО ОГПУ, а вскоре переведен в резерв ОК (Отдел кадров) с прикомандированием к ИНО, в связи с направлением на закордонную работу. В декабре 1923 года вместе с Блюмкиным выехал в Палестину, где в течение двух лет действовал с нелегальных позиций – сначала в качестве помощника Блюмкина, а потом самостоятельно.
Находясь на Ближнем Востоке, Серебрянскому удалось надежно внедриться в подпольное сионистское движение, привлечь к сотрудничеству с ОГПУ большую группу иммигрантов – уроженцев России: А. Н. Ананьева (он же И. К. Кауфман), Ю. И. Волкова, Р. Л. Эске-Рачковского, Н. А. Захарова, А. Н. Турыжникова и ряд других. Они и составили костяк его боевой группы, известной позднее как «группа Яши».
В 1924 году к Серебрянскому присоединилась его жена Полина Натановна, которая, хотя официально и не работала в ИНО ОГПУ, постоянно сопровождала его в многочисленных зарубежных поездках.
В 1925–1928 годах нелегальный резидент ИНО ОГПУ в Бельгии и во Франции. В 1927 году приезжал в СССР, где успешно прошел партчистку и был принят в члены ВКП(б).