Личный состав набирался сотнями, а командный состав привлекался из Генерального штаба. Шеф абвера назначил весьма разнородное трио для руководства новыми отделами: добродушный, аполитичный, независимый благодаря своему богатству рейнландец Ганс Пикенброк стал организатором секретной разведки (эвфемизм слова «шпионаж»); чувствительный, глубоко религиозный, ярый антифашист Гельмут Гроскурт возглавил отдел саботажа и диверсий; и нацист Бамлер стал ответственным за деликатную контрразведывательную работу.
Канарис привлек фирму «Телефункен» для создания специального шпионского радиоприемопередатчика под названием АФУ (аббревиатура слов Agenten Funk Geraet), небольшого по габаритам, чтобы его было легко спрятать, но достаточно мощного для передач на дальние расстояния. Эта весьма предусмотрительная мера с его стороны имела как свои плюсы, так и минусы, поскольку, когда «Телефункен» разработала этот приемопередатчик, из-за его исключительного качества сотрудники абвера слишком на него полагались.
1 мая 1935 года в целях дальнейшего улучшения каналов связи и для создания надежных оперативных баз за рубежом Канарис договорился о сотрудничестве с министерством иностранных дел. В результате этого дипломатические миссии по всему свету стали выполнять также функции региональных разведцентров. Отдельные дипломаты, обычно молодые атташе, стали в них резидентами (Abwehrbeauftragte), координируя деятельность абвера в своих зонах.
Одним из первых мероприятий Канариса стала рассылка в зарубежные миссии с дипломатической почтой так называемых Geheimausruestungen fuer Vertrauensleute (наборов секретного оборудования для тайных агентов) для последующего использования их шпионами. В эти наборы входило шифровальное оборудование, разработанное Куртом Зельхоном из криптографического отдела министерства иностранных дел. Ключи к кодам рассылались отдельно, в конвертах под сургучными печатями на имя глав миссий с распоряжением вскрыть только в случае войны или кризисной ситуации лишь после получения одного из десяти специальных кодовых слов. Для Англии таким паролем было слово «Наутилус», для Канады – «Джимми», для США – «Роберт».
В других опечатанных конвертах Канарис разослал списки агентов абвера, действующих в зонах соответствующих дипломатических представительств. Он также выслал каждому главе миссии чек, выданный «Дойче-банком» на «Барклай-банк» в Лондоне на сумму 406 фунтов, с указанием конвертировать их в местную валюту и держать в сейфе для выдачи агентам в случае необходимости.