Во исполнение этого постановления совместным приказом МВД и МГБ от 17 октября 1949 г. №00968/00334, в МГБ было создано Главное управление пограничных войск (ГУПВ), а его начальником назначен генерал-лейтенант Н. П. Стаханов, которого в 1952 г. сменил генерал-майор П. И. Зырянов.
Совместным постановлением ЦК КПСС, Президиума Верховного Совета СССР и Совета Министров СССР от 10 марта 1953 г. «О Министерстве внутренних дел СССР» МВД СССР и МГБ СССР снова были объединены в одно министерство – МВД СССР. В этой связи пограничные войска вновь были переданы МВД СССР.
14 марта приказом МВД СССР №002 была утверждена структура МВД, согласно которой было сохранено Главное управление пограничных войск, начальником которого остался генерал-майор П. И. Зырянов.
Но созданная структура МВД была громоздка и малоэффективна. Поэтому, Президиумом ЦК КПСС 8 февраля 1954 г. было принято принципиальное решение о выделении органов безопасности из структуры МВД в самостоятельное ведомство и Указом Президиума Верховного Совета СССР от 13 марта 1954 г. был создан Комитет государственной безопасности при Совете Министров СССР (КГБ при СМ СССР), в который вошли главные управления, управления и самостоятельные отделы бывшего министерства государственной безопасности. Главное управление пограничных войск осталось в ведении МВД. Таким образом, данное решение не было оптимальным. Кроме того, 9 июня 1956 г. ГУПВ, Главное управление внутренних и конвойных войск и Военно-строительное управление были объединены в Главное управление пограничных и внутренних войск (ГУПВВ).
Однако вскоре Постановлением Совета Министров СССР охрана государственной границы Советского Союза была передана в ведение КГБ при Совете Министров29, в этой связи постановлением от 28 марта 1957 г. №328—159сс пограничные войска были переданы в состав КГБ.
Во исполнение данного постановления, совместным приказом МВД и КГБ от 2 апреля 1957 г. №0017/00161 пограничные войска были выведены из МВД и вошли в состав КГБ на правах Главного управления пограничных войск КГБ при СМ СССР. Цель проведенной реорганизации состояла в том, чтобы освободить МВД от «несвойственных ему функций», сосредоточив защиту государственной безопасности в рамках единого, специально для этого предназначенного ведомства, с присоединением к данной структуре (КГБ) такой силовой структуры, как пограничные войска, создав тем самым мощную опору государства.