Первым председателем КГБ стал работник органов безопасности с 1939 года И. А. Серов, один из наиболее близких соратников Хрущёва. Но 25 декабря 1958 года он был переведён на должность начальника Главного разведывательного управления, а председателем КГБ был назначен бывший заведующий Отделом партийных органов ЦК КПСС по союзным республикам А. Н. Шелепин. Серов был первым и последним профессиональным работником органов безопасности на посту их руководителя: партия, а точнее, её верхушка как огня боялась выхода «органов» из-под своего контроля. Поэтому 9 апреля 1959 года, спустя пять лет после образования КГБ, в режиме строгой секретности было утверждено Положение о Комитете государственной безопасности при Совете Министров СССР, в котором был закреплён статус Комитета государственной безопасности в качестве ведомства при правительстве страны с правами министерства, а также была установлена подчинённость КГБ правительству и Президиуму ЦК.
Но, как говорится, «чего боялись, то и случилось, за что боролись, на то и напоролись»: председатель КГБ Андропов превратил эту организацию в средство контроля над всеми сферами жизни государства и общества, став членом Политбюро, а затем секретарём ЦК партии и генсеком. Ещё во время подавления восстания в Будапеште в 1956 году посол СССР в Венгрии Андропов, работавший в тесном контакте с сотрудниками КГБ, на практике оценил «возможности» этого ведомства. Третий советник советского посольства в Будапеште В. А. Крючков не мог быть в стороне от помощи послу в силовом решении венгерского вопроса, потому-то и стал с тех пор неразлучной тенью Андропова: сначала в отделе ЦК, а в 1967 году, после того как тот возглавил КГБ, занял место его помощника.
На следующий год после сноса дома Ипатьева, вероятно, учитывая «заслуги» органов безопасности, 5 июля 1978 года КГБ был преобразован в Госкомитет, а Крючков стал заместителем Андропова, в звании генерала возглавив Управление внешней разведки. «Тогда пустил в оборот понятие “оперативная честность” и, по свидетельству современников, объявил войну алкоголизму и коррупции в чекистских рядах»[7].
Этот факт, пожалуй, лучше всех других свидетельствовал о полном разложении чекистских рядов, и неслучайно именно на это время приходятся провалы в работе внешней разведки КГБ.