С весны 1922 года совместная секретная деятельность советских спецслужб и спецструктур ИККИ была направлена на разложение вооруженных сил белой эмиграции.
Отметим, что значительная часть среди резидентов и разведчиков, работаших в ИНО ГПУ – ОГПУ и РУ РККА в 1920–1930 годы, начинала карьеру разведчиков именно по линии Коминтерна. Р. Зорге, Л. Tpeппep, Ш. Радо, А. Дейч, И. Григулевич, В. Фишер, А. Шнеэ и многие другие стали разведчиками по идеологическим соображениям.
Между тем Я. Серебрянского продолжал преследовать злой рок. В 1922 году его арестовали по подозрению во взяточничестве в тресте. Но следствие не подтвердило участия Якова в этом деле, и в 1923 году он был освобожден.
В октябре 1923 года его приняли на работу в редакцию газеты «Известия». Несколько позже он подал заявление о приеме в РКП(б) и вскоре стал кандидатом в члены партии.
Осенью 1923 года Ф. Дзержинский предложил Я. Блюмкину перейти на службу в ОГПУ, возглавив новую нелегальную резидентуру в Палестине. В Блюмкине Дзержинский учитывал прежде всего его способности к нелегальной работе, а также опыт по созданию боевых групп в тылу белогвардейцев в годы Гражданской войны.
Формируя костяк резидентуры, Блюмкин вспомнил о своем старом приятеле Серебрянском. Яков сразу дал согласие на это предложение.
В декабре 1923 года Я. Серебрянский был принят на службу в ИНО ОГПУ (внешняя разведка) в качестве особоуполномоченного закордонной части ИНО. Таким образом, в биографии Якова Исааковича началась новая страница.
Накануне отъезда Блюмкина и Серебрянского за рубеж их принял первый заместитель председателя ОГПУ Вячеслав Менжинский и напутствовал их на успешное выполнение задания правительства.
В декабре 1923 года разведчики отбыли из СССР в Палестину. Они прибыли в город Яффу, треть населения которого в то время составляли евреи. В Яффе Блюмкин вскоре открыл прачечную, которая стала штаб-квартирой нелегальной резидентуры ИНО ОГПУ.
Из Польши в Палестину прибыл человек, который впоследствии станет одним из выдающихся советских разведчиков. Им был Леопольд Треппер4. Во время войны 1941–1945 годов он будет руководить в Западной Европе организацией «Красная капелла».
О своем начальном периоде пребывания в Палестине Треппер писал «…Перед партией вскоре встал немаловажный вопрос: англичане категорически не хотели, чтобы у них под носом действовала компартия Палестины. Реакционные арабские организации, в свою очередь, помогали полиции выслеживать таких, как я. Нас было несколько сотен. Мы были преданы своему делу, полны отваги и не боялись ни подполья, ни лишений».