ГПУ в 1922 году создавали как орган при Наркомате внутренних дел – НКВД, но уже с созданием Советского Союза опять вывели из подчинения ведомства внутренних дел по примеру прежней ВЧК, снова подчинив напрямую главе государства. С созданием СССР в названии к ГПУ появилось дополнение «Объединенное», в официальных документах конца 20-х годов его часто именуют ОГПУ СССР. Но в целом эту спецслужбу до ее реорганизации продолжали именовать просто ГПУ, а ее сотрудников – по старой памяти «чекистами», поскольку неказистое слово «гэпэушник» в русском языке так и не прижилось.
В первые годы существования ГПУ оно прошло ряд преобразований. Поначалу по сравнению с прежней всесильной ВЧК у него отобрали часть функций и полномочий, по крайней мере на бумаге превратив в подобие обычной спецслужбы большого государства, хотя в реальности особый характер Советского Союза накладывал печать непохожести на коллег из других государств и на его службу госбезопасности. Вот спокойно и без особых реформ просуществовав почти до начала Второй мировой войны под началом одного руководителя Яна Берзина, Разведупр действительно все больше напоминал типичную военную разведку иных государств.
Структура ГПУ, как и кадровый состав, отчасти была заимствована у прошлой ВЧК времен Гражданской войны. Во главе, наряду с председателем этой спецслужбы, стояла коллегия ГПУ, куда входили заместители начальника и руководители самых важных отделов. На местах работали областные отделы ГПУ и республиканские ГПУ в союзных республиках СССР, районных (уездных) отделов ГПУ, как это было в годы Гражданской войны в ЧК, с 1923 года в Советском Союзе уже не было. Отчасти и из-за урезания функций ГПУ, в котором было решено оставить только вопросы внешней разведки, контрразведки, госбезопасности и охраны государственных мужей, тогда как присущие ранее ЧК вопросы работы по части уголовных преступлений или по спекуляции были полностью переданы в Наркомат внутренних дел. Одним из первых приказов начальника ГПУ Дзержинского по новой спецслужбе от 10 марта 1922 года было указание сосредоточить все силы на вопросах государственной безопасности, на работе по ликвидации антибольшевистских партий, по антисоветской эмиграции, на усилении безопасности на транспорте и контроле за находящимися на территории СССР иностранными гражданами.