В 1928 году Гиммлер женился на разведенной медсестре, онемеченной польке Марге Концежевой. Марга была на восемь лет старше нового мужа и владела в Берлине крохотной лечебницей. Дабы содержать себя и будущих детей (на деле у них родилась только одна дочь Гудрун), супруги купили в нескольких километрах от Мюнхена, в местечке Вальтрудеринг, небольшую куриную ферму.
Как заместитель гаулейтера, Гиммлер, в частности, курировал местное подразделение, тогда еще весьма немногочисленное, СС и сам вступил в него. Его собственный билет члена СС имел номер 168.
Когда осенью 1927 года Хайден сменил Берхтольда на посту рейхсфюрера СС, Гиммлер стал его заместителем. Пунктуальность, характерное обостренное внимание к мелочам и деталям впервые зримо проявились у него именно на этом посту. Возможно, потому, что фаненюнкер в отставке Гиммлер впервые почувствовал себя если не настоящим офицером, то, во всяком случае, командиром, обладающим реальной властью над почти двумя сотнями подчиненных, можно сказать, ротой.
Первоочередной задачей рейхсфюрера стала униформа эсэсовцев. Немногочисленные подразделения СС все еще входили, как известно, в СА, и внешне эсэсовцы ничем от штурмовиков не отличались. Гиммлер лишь «чуть-чуть» видоизменил их форму, но все же настолько, что впредь эсэсовцев со штурмовиками не путали. Эсэсовцы носили все ту же «африканскую» коричневую рубашку, но с черным галстуком, черные бриджи, заправленные в высокие черные сапоги, на левом рукаве красную повязку с белым кругом и черной правосторонней свастикой в центре, но, в отличие от СА, у повязки появились по краям черные полоски. Характерное кепи штурмовиков сменила так называемая «австрийская» фуражка с серебристой кокардой в виде «Мертвой головы» (такую кокарду еще в 1923 году носили телохранители Гитлера).
Череп и кости на конусообразных шапках с длинным шлыком носили в качестве эмблемы так называемые «черные гусары» полка фон Рауша, сформированного в Пруссии еще в 1741 году. В сражении под Ватерлоо «Мертвая голова» украшала (если уместно применение этого слова) киверы прусских гусар под командованием знаменитого генерал-фельдмаршала фон Блюхера. Эта эмблема впоследствии часто копировалась войсковыми подразделениями, желавшими заявить о своей беспримерной храбрости и готовности к самопожертвованию. Историки военного костюма утверждают, что создатели эсэсовской униформы знали, что некоторые белогвардейские полки в годы Гражданской войны в России носили черные мундиры и эмблему «Мертвой головы».