Чекисты были уверены, что Питовранов станет следующим министром госбезопасности. После смерти Сталина Питовранов потерял свой высокий пост и министром уже не стал, но он, счастливчик, в отличие от большинства своих коллег, прожил достаточно удачную жизнь и умер на восемьдесят пятом году жизни…
После ареста Берии Питовранова допрашивали как свидетеля, но обвинений ему не предъявили. Генерал-лейтенанта Питовранова отправили в Восточный Берлин руководителем Инспекции по вопросам безопасности при советском верховном комиссаре по Германии (название должности постоянно менялось: уполномоченный КГБ СССР при МГБ ГДР, глава представительства КГБ по координации и связи с МГБ СССР).
Аппарат Питовранова представлял ведомство госбезопасности в миниатюре, потому что работа шла по многим направлениям: контролировали жизнь в ГДР, учили восточногерманских чекистов, вели разведывательную работу в ФРГ, пытались вербовать американцев, англичан и французов, которые служили в Западном Берлине и Западной Германии.
В 1957 году Питовранова вернули в Москву. Он руководил четвертым управлением КГБ СССР, которое занималось борьбой с антисоветскими элементами и ведало интеллигенцией. Тогдашний председатель КГБ Александр Николаевич Шелепин в феврале 1960 года упразднил четвертое управление, которым руководил Питовранов, как самостоятельную структуру. Шелепин считал, что следить за писателями, художниками, актерами – не главная задача КГБ, и незачем держать для этого целое управление. Он передал сокращенный аппарат и функции идеологического контроля второму главному управлению.
Генерал-лейтенант Питовранов отправился в Китай. Он недолго проработал советником в Китае, а потом еще четыре года начальником Высшей школы КГБ. В 1966 году его перевели в действующий резерв и определили в Торгово-промышленную палату. Ему было всего пятьдесят один год.
Его выдвиженец генерал Борис Семенович Иванов через несколько лет занял должность первого заместителя начальника внешней разведки. Он пытался уговорить нового председателя КГБ Андропова вернуть Питовранова в кадры. На это Андропов не пошел.
Но после беседы с Питоврановым на конспиративной квартире согласился широко использовать возможности Торгово-промышленной палаты в интересах разведки. Палата имела статус неправительственной организации, ее сотрудники ездили в страны, с которыми Советский Союз не имел дипломатических отношений, встречались с политиками, которых официальные московские представители избегали.