Инспектором концлагерей был назначен Теодор Эйке. В 1937 году был основан образцовый лагерь Бухенвальд вблизи Веймара, на севере появился Заксенхаузен, а после аншлюса лагеря были организованы и в Австрии. В целом ГУЛАГ рейха к началу Второй мировой войны насчитывал более сотни лагерей. После начала войны охрана концлагерей набиралась преимущественно из фольксдойчей, а также из тех иностранных добровольцев войск СС, которые были признаны негодными для службы на фронте. Именно таким людям и приходилось делать основную грязную работу. Множество узников умирало от бесчеловечного обращения или скудного питания, многие были казнены.
Гиммлер мечтал создать собственную армию. С 1934 года СС было запрещено принимать участие в любых учениях рейхсвера. Эсэсовцам выдали малокалиберные винтовки. Гиммлер хотел сделать из них «национал-социалистских нордических солдат». Многие служили в СС по совместительству, так сказать, в свободное от основной работы время, продолжая службу в банке, занятие крестьянским трудом или работой на фабрике. Как и военнослужащие, все эсэсовцы принимали присягу на верность фюреру: «Я присягаю тебе, Адольфу Гитлеру, фюреру и канцлеру рейха, в верности и мужестве. Я клянусь тебе и тем, кого ты назначил моими командирами, в повиновении до самой смерти, и да поможет мне Бог». Еще в 1932 году в Бад-Тельце, в Баварии, был создан центр подготовки руководящих кадров СС. С началом войны он был преобразован в офицерскую школу. Среди дисциплин, получивших приоритет в Бад-Тельце, были различные виды спорта, гимнастика, история, преподававшаяся в полном соответствии с идеологией НСДАП, география, военное дело и расовое самосознание. [20]
В ноябре 1934 года началось создание войск СС, когда штандартенфюрер Пауль Хауссер, в прошлом генерал-лейтенант рейхсвера, был назначен ответственным за военную подготовку СС. Он преобразовал школу командного состава СС в Бад-Тельце в офицерское училище, а затем создал еще несколько таких училищ. Гитлер и Гиммлер рассчитывали получить в лице войск СС идеологически надежных солдат, в отличие от проникнутого монархическими симпатиями офицерского корпуса рейхсвера, и использовать их в качестве отборных боевых частей.
17 августа 1938 года Гитлер издал декрет, по которому вооруженные силы СС подчинялись только рейхсфюреру СС и не могли контролироваться армией или полицией.