В Абвер-I входили пять подотделов: IX «Иностранные армии» (Fremde Heer), IM «Иностранный военно-морской флот» (Fremde Marine), IL «Иностранная авиация» (Fremde Luft), IBI «Иностранная промышленность» (Fremde Wirtschaft) и IILB «Авиаразведка» (Technik-Luft). Каждый из них занимался сбором разведывательных данных в своей сфере, что следовало из их названий.
Кроме того, в абвере-I имелись пять подгрупп, разделенных по географическому принципу. Так, самая многочисленная подгруппа «Гамбург» (Amt Hamburg) отвечала за организацию военной разведки на территории Англии. Подотделы и подгруппы, в свою очередь, подразделялись на так называемые рефературы.
В 1936 г. начальником отдела Абвер-I был назначен 43-летний майор Ханс Пикенброк, начавший работать в военной разведке еще в 1921 г. Благодаря своим способностям он стал второй по влиятельности фигурой в абвере после Канариса, считавшего его своей правой рукой. Выполняя деликатные поручения нацистского руководства и лично Гитлера, Пикенброк изъездил вдоль и поперек всю Европу, бывал на Ближнем Востоке и в Советском Союзе. При этом он всегда оставался в тени и в случае опасности вовремя и умело заметал следы.
Второй отдел, или Абвер-II (Abt.II), был создан по личной инициативе Канариса в середине 30-х гг. Его задачей были организация подрывной деятельности и саботажа на территории противника. Он состоял из пяти подотделов, разделявшихся на 15 самостоятельных рефератур. 10 ноября 1938 г. начальником абвера-II стал 41-летний майор Эрвин фон Лахузен-Вивремонт – кадровый офицер бывшей австрийской военной разведки, начавший свою карьеру еще во время Первой мировой войны.
В распоряжении абвера-II имелись три крупных учебных центра для подготовки диверсантов и агентов. Один центр находился в местечке Тегеле, около Берлина, второй – в Квинцзе, недалеко от Бранденбурга, а третий – в местечке Химзе. Все они были тщательно замаскированы и скрыты от посторонних глаз. Подготовка велась в условиях, максимально приближенных к боевым. Так, на опытном поле в Квинцзее имелись мосты различных конструкций, участки железнодорожного полотна и т. д.
Третий отдел, или абвер – III, который 1 марта 1939 г. возглавил 42-летний майор Франц Эккард фон Бентивеньи, кадровый военный-артиллерист, с 1936 г. служивший в абвере, отвечал за контрразведывательную деятельность. Его основными функциями были недопущение проникновения иностранных агентов в вермахт, обеспечение охраны государственной тайны, документов особой важности и лиц, имевших к ним допуск. Абвер-III имел разветвленную структуру, в него входили десять подотделов, каждый из которых, в свою очередь, делился на множество подгрупп и рефератур по направлениям работы. В его составе имелось и специальное подразделение, как теперь сказали бы, «служба собственной безопасности», которое вело наблюдение за сотрудниками абвера.