Возглавив КГБ при СМ СССР, «Железный Шурик», выполняя указания Хрущёва, который патологически ненавидел чекистов, продолжил масштабные структурные реорганизации и кардинальные сокращения численности сотрудников госбезопасности, начатые при Серове. К концу 1950‑х годов численность личного состава КГБ была сокращена более чем на 50 % по сравнению с 1954 годом. Было упразднено более 3,5 тыс. городских и районных аппаратов, объединены некоторые оперативные и следственные подразделения, ликвидированы и объединены в единые следственные аппараты следственные отделы и отделения в оперативных подразделениях. Была значительно упрощена структура особых отделов и органов КГБ на транспорте. В 1955 году было дополнительно сокращено более 7,5 тыс. сотрудников, в то время как около 8 тыс. офицеров КГБ были переведены на положение гражданских служащих, что существенно сказалось на их зарплате.
На основании Постановления Президиума ЦК КПСС и Совета Министров СССР № 134—46 от 5 февраля 1960 года «О внесении изменений в структуру КГБ при СМ СССР и его органов на местах и сокращении их штатной численности» (объявлено 11 февраля приказом КГБ № 0026) в Центральном аппарате КГБ при СМ СССР произошли следующие изменения:
упразднены 4‑е (секретно-политическое), 5‑е (контрразведывательная работа в промышленности) и 6‑е (контрразведывательная работа на транспорте) управления, а их функции и кадры переданы в состав Второго главного управления; как свидетельствует первый заместитель председателя КГБ СССР генерал армии Филипп Денисович Бобков, в то время начальник 1‑го отдела (антисоветское подполье) 4‑го (секретно-политического) Управления КГБ при СМ СССР: «С конца 1959 года структура Комитета была выстроена таким образом, что от внутренних проблем КГБ был отстранён – при Хрущёве были ликвидированы все структуры, которые занимались их изучением»;
3‑е Главное управление (военная контрразведка) было преобразовано в 3‑е Управление;
Следственное управление было реорганизовано в Следственный отдел;
отдел учебных заведений Управления кадров был упразднен.
В результате структура Центрального аппарата КГБ при Совете Министров СССР приобрела следующий вид:
➢ 1‑е Главное управление (внешняя разведка),
➢ 2‑е Главное управление (контрразведка),
➢ 3‑е Управление (военная контрразведка),