Хотя к моменту его прибытия в столицу оказалось, что генерал-полковник Фридрих Фромм уже успел провести полевой суд и расстрелять главных заговорщиков, рейхсфюрер провел свое расследование. В результате были казнены такие высокопоставленные военные, как фельдмаршал фон Вицлебен, генералы Хопнер, Штейфф и Петер фон Вартенбург, фон Хассель, Лангбен, Попиц, Небе, Канарис и многие другие. Молодчики Гиммлера, как всегда, постарались на славу – число казненных измерялось сотнями. А сам он с загадочной усмешкой заявлял: «Мы знали о существовании заговора уже давно». Если так, то почему же тогда он не позаботился о его предотвращении? Ответ прост: видимо, потому, что, ведя сепаратные переговоры с Западом, разыгрывал свою карту.
Тем не менее, после столь масштабных карательных мер Гиммлер добился у фюрера наивысшего доверия: ему было поручено командовать не только Резервной армией и дивизиями Ваффен СС, но и фронтами. Но великого полководца из него не получилось. Даже в небольшом сражении при попытке взятия Страсбурга необстрелянная армия Гиммлера потерпела поражение. Сам он отдавал своим войскам абсурдные приказы, типа: «Вперед через грязь! Вперед через снег! Вперед днем! Вперед ночью! Вперед за родную землю!» Но отступление дивизий СС в Венгрии привело Гитлера в ярость. Еще одной причиной, по которой рейхсфюрер попал в немилость, были проводимые им сепаратные переговоры с американцами. Перед смертью фюрер изгнал Гиммлера из партии, лишил всех должностей, приказал арестовать его и расстрелять перед строем как предателя. Но ставший преемником фюрера гросс-адмирал Карл Дёниц этого не сделал. Правда, и выделить в распоряжение бывшего рейхсфюрера СС подводную лодку, на которой тот планировал бежать в Южную Америку, отказался.
После такого фиаско Гиммлер решил скрыться. На что он рассчитывал и куда намеревался податься, теперь уже вряд ли станет известно. Возможно, он хотел сдаться союзникам и передать какие-то секретные сведения британскому фельдмаршалу Монтгомери, встречи с которым так добивался. Ряд источников утверждает, что Гиммлер пробивался к датской границе. Но что ему было делать в Дании, оккупированной союзниками? По словам доктора Гебхардта, он якобы намеревался жить в подполье в Швеции. Есть еще одна версия, которую нельзя исключить: Гиммлер хотел пробиться в Баварию, в пресловутую «Альпийскую крепость». Его влекло туда не столько награбленное богатство, сколько самое важное для него мистическое место – могила короля Генриха I. Вполне вероятно, что «черный иезуит» надеялся спастись с помощью мистических обрядов.