В марте 1929 года вернулся в Москву. С 1 апреля 1929 года назначен начальником 1-го отделения ИНО ОГПУ (нелегальная разведка), одновременно руководителем Особой группы («группа Яши») при председателе ОГПУ. Под этим названием действовало независимое от ИНО разведывательное подразделение, задачей которого являлось глубокое внедрение агентуры на объекты военно-стратегического характера на случай войны, а также проведение диверсионных и террористических операций.
Летом 1929 года было принято решение о похищении и вывозе в Москву председателя РОВС генерала А. П. Кутепова, активизировавшего диверсионно-террористическую деятельность на территории СССР.
1 января 1930 года Серебрянский был переведен в резерв ОГПУ и вскоре вместе с заместителем начальника КРО ОГПУ С. В. Пузицкимвыехал в Париж для руководства этой операцией.
В воскресенье 26 января 1930 года сотрудники опергруппы Серебрянского втолкнули Кутепова в стоявший рядом автомобиль, сделали инъекцию морфия и доставили на борт советского парохода, стоявшего в порту Марселя.
30 марта 1930 года за удачно проведенную операцию Серебрянский был награжден орденом Красного Знамени.
По завершении этой операции Серебрянский приступил к созданию автономной агентурной сети в различных странах для организации диверсий на случай войны.
20 июля 1930 года он был зачислен на особый учет ОГПУ. Работая за границей, лично завербовал 200 человек.
В 1931 году был арестован в Румынии, но вскоре освобожден и продолжил свою деятельность.
В 1932 году выезжал в США, а в 1934 году – в Париж.
В 1935 году по поручению Генриха Ягоды содействовал организации токсикологической лаборатории НКВД.
13 июля 1934 года утвержден руководителем Спецгруппы особого назначения (СГОН) при НКВД СССР.
В 1935–1936 годах находился в спецкомандировке в Китае и Японии.
После начала Гражданской войны в Испании советское правительство приняло решение о поставках в Мадрид оружия. Причем часть его нелегально закупалась в Европе. Занимались этим практически все резидентуры ИНО НКВД и ГРУ, в том числе и «группа Яши». Так, в сентябре 1936 года сотрудники Спецгруппы закупили у французской фирмы «Девуатин» 12 новых военных самолетов, которые доставили на приграничный с Испанией аэродром. Откуда их под предлогом летных испытаний благополучно перегнали в Барселону. За эту операцию в декабре 1936 года Серебрянский был награжден орденом Ленина.