В январе 1930 года агенты Группы в Париже ликвидировали генерала А.П. Кутепова, сменившего умершего генерала П.Н. Врангеля на посту председателя эмигрантского Российского общевоинского союза – РОВС.
В июле 1934 года ОГПУ постановлением ЦИК СССР вошло в состав созданного Народного комиссариата внутренних дел СССР, в которое вошли Главное управление государственной безопасности, Главное управление рабоче-крестьянской милиции, Главное управление пограничной и внутренней охраны, Главное управление исправительно-трудовых лагерей и трудовых поселений, отдел актов гражданского состояния, Административно-хозяйственное управление, Главное управление пожарной охраны. В конце 1934 года ОГПУ было выделено из состава НКВД с подчинением непосредственно председателю Совета народных комиссаров РСФСР. Были и другие реорганизации.
В июне 1934 года в составе только что образованного на базе ОГПУ НКВД СССР на основе Особой группы была создана СПЕЦИАЛЬНАЯ ГРУППА ОСОБОГО НАЗНАЧЕНИЯ, в которую в разное время входило от 20 до 60 человек, главной задачей которой стало руководство нелегальной агентурой за рубежом и расширение ее сети во всем мире.
При Специальной группе была создана специальная школа для подготовки разведчиков-диверсантов.
Агенты Группы активно работали во время гражданской войны в Испании, создав там 6 диверсионных школ. Ими же была осуществлена доставка в СССР испанского золотого запаса, переданного Советскому Союзу тогдашним испанским правительством за интернациональную помощь в борьбе за власть.
В ноябре 1936 года агенты Группы переправили в Москву часть «архива Троцкого» – архива Международного секретариата троцкистов.
В сентябре 1937 года агенты Группы похитили в Париже и доставили в Москву председателя РОВС генерала Е.К. Миллера.
В том же году в Париже был ликвидирован бывший резидент ОГПУ невозвращенец Георгий Агабеков.
В том же году в Швейцарии был убит бывший резидент Иностранного отдела ОГПУ в Западной Европе невозвращенец Игнатий Рейсс-Порецкий.
В августе 1940 года в Мексике агентом Группы Рамоном Меркадером был убит бывший лидер большевистского правительства Лев Троцкий.
В 1941 году, сразу после начала Великой Отечественной войны, при НКВД СССР была создана ОСОБАЯ ГРУППА для организации борьбы в тылу немецких войск.
Особая группа осуществляла разведывательно-диверсионные операции, радиоигру с немецкой разведкой, организовывала партизанские отряды и подполье, создала нелегальную агентурную сеть на территории, оккупированной вермахтом.