Во время всемирного экономического кризиса, когда дела у нацистов пошли в гору, карьера Груббера подошла к концу. Борьба за господство в нацистской партии никогда не прекращалось. Социал-революционеры во главе с Отто Штрассером открыто выступили против Гитлера и потерпели поражение. Старший товарищ Грубера шеф СА Пфеффер фон Саломон после неудавшегося восстания берлинского СА был смещен с должности. На его место Гитлер назначил Эрнста Рема, который до этого момента два года проработал военным советником в Боливии. Свежеиспеченный глава штурмовиков не захотел долго терпеть самостоятельность Гитлерюгенда и потребовал подчинить ему молодежную организацию. Гитлер приказом от 27 апреля 1931 года выполнил его требование. Все ячейки Гитлерюгенда на местах перешли в распоряжение соответствующих отрядов СА. Под предлогом улучшения контроля за деятельностью молодежной организации штаб Гитлерюгенда был переведен из провинциального Плауэна в Мюнхен поближе к партийной верхушке. Шансы Шираха на победу возросли. Теперь он открыто агитировал против Грубера: «Грубер был вполне пригоден, пока Гитлерюгенд был чисто провинциальной организацией. Сейчас, когда надо решать задачи в масштабе всей страны, его ограниченность и недальновидность очевидна. Мы обязаны исключительно Грубберу тем, что националистические молодежные организации до сих пор не объединились под знаменем Гитлерюгенда».
Для своих интриг Ширах нашел твердую поддержку в лице нового шефа штурмовиков. С ним у него установились почти дружеские отношения. В конце концов Ширах признался Гитлеру в своих стремлениях руководить Гитлерюгендом. Гитлер ответил: «Ширах, не смешите меня. Вы хотите заниматься этими детьми?» И все же Шираху удалось переубедить своего покровителя: «Тогда я сказал ему: „Я создам самую большую молодежную организацию в истории Германии“. Эти слова произвели впечатление. Гитлер назначил 30 октября 1931 года Бальдура фон Шираха „райхсюгендфюрером“ НСДАП и подчинил ему Гитлерюгенд, студенческий и школьный национал-социалистические союзы.
Члены нацистской партии настороженно отнеслись к выходцу из аристократии. Молодые гитлеровцы «первого призыва» не видели в Ширахе человека, который соответствовал бы их представлениям о молодежном вожаке рейха. «В Бальдуре фон Ширахе было на наш взгляд слишком много от барона, а его американское родство и благородная приставка „фон“ не располагали к доверию», – признался его полномочный представитель в течении многих лет Хартман Лаутербахер, создавший в свое время на территории Австрии организацию «Немецкая молодежь»– предтечу Гитлерюгенда. Сам Ширах был далек от образа спортивного, боевитого гитлерюгендовца, который он пропагандировал среди немецкой молодежи. Ширах, несмотря на свою полноту и неспортивную внешность, старательно пытался сыграть роль крепкого парня. Многие из его подопечных сетовали на то, что их босс «не заводила, не борец, и что с ним вряд ли вспотеешь». Он был скорее эстет, чем аскет, и предпочитал роскошный гостиничный номер, а не лагерную палатку и горшок с гороховой похлебкой. Упорно ходили слухи о его якобы гомосексуальных наклонностях и шикарно обставленной спальне в белых тонах.