В январе 1934 года начальник Штаба РККА А.И. Егоров издал директиву о создании штатных диверсионных подразделений в Красной армии. Существование спецназа было строго засекречено. Об этом формировании ничего не знали в четвертом Управлении РККА. Личный состав в спецназ отбирался из бойцов, прослуживших не менее двух лет и после тщательной спецпроверки. Обучение велось по самым высоким стандартам. К 1935 году такие подразделения были практически во всех дивизиях на границе с Прибалтикой, Польшей, Румынией и на Дальнем Востоке. На территории сопредельных государств сотрудники нелегальных резидентур создавали опорные базы для диверсантов. В создании таких баз в Европе участвовали и оперативники «Группы Яши».
29 ноября 1935 года Серебрянскому было присвоено специальное воинское звание старший майор госбезопасности, что соответствовало армейскому воинскому званию «комдив» (первоначально две золотые звездочки, а с 1937 года – два ромба в петлицах).
В 1934–1936 годах Серебрянский, побывавший в спецкомандировках во Франции, Китае, Японии, значительно укрепил нелегальную сеть резидентур. Резидентуры СГОН были на Балканах, в Германии, Палестине, Прибалтике, Румынии, Скандинавии, США, Франции и на оккупированной японцами территории Китая.
В составе шестнадцати разведывательно-диверсионных резидентур СГОН насчитывалось около 220 человек.
Осенью 1936 года состоялась первая встреча Я. Серебрянского и Павла Судоплатова.
В 1934–1936 годах в составе СГОН появились новые личности, в частности Э.Ф. Волльвебер, А.И. Сыркин (Бернари), В.Я. Сыркина, Г.Н. Косенко. Деятельность «Группы Яши» постепенно набирала обороты, а вот многие программы подготовки спецкадров с 1934 года стали постепенно сворачиваться либо консервироваться.
«Именно в столице, – вспоминает И.Г. Старинов, – я вдруг обнаружил, что подготовка к будущей партизанской войне не расширяется, а постепенно сворачивается».
17 июля 1936 года в Испании разразилась Гражданская война. 22 июля 1936 года Франсиско Франко, возглавивший мятеж после гибели в авиакатастрофе генерала Хосе Санхурхо-и-Саканеля, обратился к правительствам Германии и Италии с просьбой оказать военную помощь. В свою очередь премьер-министр Испании Хосе Хираль обратился с просьбой о помощи к правительству Франции. Правительство Леона Блюма заявило от нейтралитете Франции и запретило ввоз в Испанию вооружения и иной другой продукции.