Для этого он разделил свой центральный аппарат на пять отделов. Первый традиционно добывал информацию о военно-экономическом положении потенциального противника. Здесь были специалисты как по отдельным регионам и странам, так и по различным видам вооружения. Второй отдел занимался более активной и заметной деятельностью, а именно, организацией диверсионно-террористических операций. Другие работники этого отдела обеспечивали необходимое снабжение прогерманских группировок, «заграничных немцев», эмигрантских и националистических организаций, то есть всех, кто позднее стал входить в знаменитые «пятые колонны». Третий отдел должен был продолжать дело донацистского абвера, то есть осуществлять военную контрразведку и политический сыск в вооруженных силах. Этот же отдел разрабатывал операции по дезинформации иностранных разведок, следил за лагерями для военнопленных, вербовал там будущих агентов. Четвертый отдел выискивал, добывал ценную информацию, штудируя иностранную прессу, литературу и прослушивая радиопередачи, а также общаясь с германскими военными атташе за границей, деятельностью которых управлял. Наконец, в обязанности центрального отдела входило вести главный архив абвера и картотеку его агентов.
Список агентов был довольно велик. Канарис создал широкую шпионско-диверсионную сеть практически во всех странах Европы, Азии, Африки и Америки. Легенда связывает его имя с первой вербовкой известной шпионки Маты Хари. Безусловно, это легенда, поскольку мифическая шпионская деятельность этой известной, но никогда по сути дела шпионажем не занимавшейся танцовщицы относится к тому периоду, когда Канарис с разведкой еще не был связан. Но живучесть слухов об этом, разумеется, основывается на том, что масштаб реальной работы адмирала с агентами был очень велик.
Канарис принимал участие в разработке и осуществлении гитлеровских агрессивных планов. Еще во время формирования добровольческих корпусов он познакомился с капитаном фон Хиппелем, ветераном оперотрядов, воевавших во время первой мировой войны в районе Танганьика. В 1935 году Кана-рис пригласил его на пост советника абвера по партизанским операциям. И адмирал, и его капитан были уверены, что методы «коммандос», испытанные когда-то в Африке, могут найти применение и в Европе. Они не сомневались, что в недалеком будущем Германии потребуются партизанские соединения, «коммандос» — элитные формирования со специальной подготовкой.
Этим группам предстояло проникать сквозь границы противника еще до объявления войны или начала наступательных действий, чтобы захватывать важнейшие цели в самом начале боевой операции. Руководителей привлекал такой вид войск и операций прежде всего большой эффективностью и малыми потерями. В начале 1938 года началось секретное формирование экспериментального подразделения «профессиональных партизан». Кандидатам в отряд предъявлялись очень высокие требования: уровень интеллекта выше среднего, хорошая физическая и военная подготовка. Кроме того, они должны были владеть несколькими языками, легко приспосабливаться к новой ситуации, иметь незапоминающуюся внешность, что позволило бы им действовать под разными фамилиями. Преимущество предоставлялось немцам, жившим ранее в Северной и Южной Америке или в Африке. Их готовили к разведывательной работе, актам саботажа, а затем забрасывали в страны, где они проживали ранее. Правда, иногда ограничивались и более грубыми приемами.
В публицистической и художественной литературе красочно описывается исторический момент 11 июля 1934 года, когда во время разговора канцлера Австрии Курта Шушнига с Гитлером открылась дверь и вошел «звероподобный» фельдмаршал Кейтель — в ужасе Шушниг подписал договор, практически подчиняющий Австрию воле германских нацистов. Действительно, мелодраматический выход Кейтеля на сцену имел место. Но, во-первых, главнокомандующий ОКВ был не таким уж монстром, а, во-вторых, среди канцлеров редко встречаются слабонервные особы, которых можно запугать чьим бы то ни было видом. На самом деле участников этого политического спектакля было намного больше. И среди них далеко не последнее место занимал Фридрих Канарис. Именно он настолько активизировал немецкие общины в Австрии, что они провели ряд провокаций, вызвавших тревогу у населения. Именно он подготовил и организовал ряд террористических актов, вызвавших панику у австрийской полиции. Наконец, именно он снабдил австрийскую разведку такой убедительной дезинформацией, что Шушниг был уверен в наличии крупной группировки войск вермахта вдоль границ его страны. Этих мифических дивизий и испугался Шушниг; другими словами, запугал его не кто иной, как Фридрих Канарис.
Аналогичная работа была проведена адмиралом от разведки и при подготовке Мюнхенского соглашения 1938 года. 29 сентября Гитлер высыпал на стол такое количество свидетельских показаний об издевательствах чешских властей над проживающими в Судетах немцах, что присутствующие на совещании премьер-министры англичанин Невилль Чемберлен и француз Эдуард Даладье вместе с подыгрывающим Гитлеру Бенито Муссолини были вынуждены искать приемлемые средства для разрешения международного конфликта. Закончились эти поиски, как известно, передачей Судетской области Германии. Автором сфабрикованных свидетельств был Фридрих Канарис.
Еще в середине 1938 года второй отдел абвера во главе с фон Хиппелем начал поиски немцев из Силезии и Поморья, владеющих польским языком. На польско-немецкой границе, особенно в районе Силезии, задолго до 1 сентября 1939 года шла «малая война». Через границу проникали немецкие боевые группы и более крупные формирования, которые атаковали польские таможенные посты, пограничные заставы, вокзалы, шахты. Знаменитая впоследствии дивизия «Бранденбург-800» была создана на базе боевых групп «Эббингауз», организованных военной разведкой в 1938–1939 годы.
В октябре 1940 года появился полк «Бранденбург». Отдельные его батальоны размещались в разных городах Германии и предназначались для операций в определенных районах. Первый батальон, в составе которого числилась воздушно-десантная рота, был расквартирован в Бранденбурге. Он был укомплектован балтийскими немцами и фольксдойче из Восточной Европы. Его целью было восточное направление, то есть СССР. Второй батальон, в Бадене под Веной, был сформирован из венгерских, румынских и балканских немцев для действий в Юго-Восточной Европе. В состав третьего батальона, расквартированного в городке Дурен на Рейне, входили немцы из западноевропейских, африканских и южноамериканских государств. Их предназначали для Западной Европы. В 1941 году, незадолго до нападения на СССР, в полку сформировали батальон «Нахтигаль» («Соловей»), полностью состоявший из украинских националистов. Позже к нему добавился батальон «Роланд», укомплектованный бельгийскими, голландскими и французскими фашистами. Численность каждого из пяти батальонов была около тысячи человек. В 1942 году появились две особые роты: 15-я, размещенная в финской части Карелии, и «Бергманн» («Горец»), состоявшая из чеченцев. К ним вскоре добавились персидская, арабская и индийская роты. Одновременно были расширены немецкие батальоны. В результате в 1942 году полк стал дивизией, но сохранил прежнее название.
Планировалось использовать эти подразделения для захвата стратегических объектов противника: мостов, туннелей, коммуникационных узлов и т. д. В ходе обучения солдаты осваивали технику разминирования и удержания объектов до подхода передовых частей армии. Кроме того, они должны были выполнять шпионские и разведывательные задания перед началом операций. От диверсантов «Бранденбурга» требовали высокой физической подготовки и психологической готовности к экстремальным условиям. Кандидатов подбирали среди солдат, склонных к риску и приключениям. Вербовка шла среди военных различной специализации: снайперов, ныряльщиков, саперов, парашютистов, связистов и др. У многих был военный опыт. При обучении большое внимание уделялось умению незаметно двигаться на местности, бесшумно убивать, стрелять из разных видов оружия, ценились также навыки в марш-бросках, ориентации, выживании и маскировке.