Однако конфликт на этом не был исчерпан. В знак протеста «Немецкий турнершафт» вышел из состава Немецкого имперского комитета физической культуры. Вернуть организацию в комитет удалось не сразу. Карлу Диму пришлось приложить для этого немало усилий. Однако итогом этих нелицеприятных переговоров стало создание Немецкого Олимпийского комитета, во главе которого встал сам Дим. Именно он стал координировать все контакты немецких спортсменов с международным олимпийским движением. Как не покажется странным, но импульсом к созданию Немецкого Олимпийского комитета стало не желание присоединиться к международному движению, а диаметрально противоположная позиция, которую занял «Немецкий турнершафт». В любом случае Карл Дим получил прекрасный повод, чтобы начать активную агитацию общественности в пользу участия в Олимпийских играх. Чтобы ослабить позиции ультраконсервативных «гимнастов», он использовал как раз аргументы, учитывающие такие понятия, как «национальная честь» и «национальная гордость». Карл Дим заявлял: «Немец более не может позволить себе быть презираемым, немец должен требовать, чтобы Германия завоевывала мир. Это должно стать лозунгом для всех наших устремлений в области культуры, науки, искусства, экономики. После войны мы потеряли слишком много времени, чтобы завоевать себе место под солнцем. Это относится и к немецкому спорту, который стал частью немецкого образа жизни. Он более не может жить в замкнутости, изолированный от международной арены в своем национальном углу».
Теперь Карл Дим предпочитал не обращать внимания на «негров, топчущих берега немецкого Рейна». Теперь он делал ставку на национальное величие, которое было необходимо продемонстрировать всему миру. Хотя бы поэтому он уделял большое внимание тому, чтобы немецкая сборная обязательно приняла участие в зимних Олимпийских играх, которые в 1928 году проходили в Санкт-Морице (Швейцария), и в летней Олимпиаде, которая в том же году состоялась в Амстердаме. Карла Дима не могло не волновать, что впервые за 16 лет немецкие спортсмены могли бы представить свое отечество в борьбе на самых престижных соревнованиях мира.
26 мая 1926 года Немецкий имперский комитет физической культуры получил давно ожидаемое приглашение из Амстердама, после чего началась непосредственная подготовка к участию в Олимпиаде. Главная задача, которую перед собой поставил на этом подготовительном этапе Дим, заключалась в том, чтобы собрать как можно больше пожертвований и выплат от органов власти и от немецкой индустрии. А для этого надо было развернуть пропагандистскую кампанию. Опуская некоторые детали, можно сказать, что Карл Дим справился с этой задачей блестяще. За относительно небольшой промежуток времени ему удалось собрать более миллиона марок. Распределением этих средств должна была заняться специальная финансовая комиссия, в состав которой входил и сам Дим. Кроме этого именно он стал инициатором проведения «предолимпийских» игр, в ходе которых можно было выявить среди участников самых подготовленных и самых талантливых. Дим отдавал подготовке к участию в Олимпиаде не просто всю свою энергию, но и всего себя. Он планировал каждое мероприятие до мельчайших деталей. Например, он лично подбирал в Амстердаме жилье для немецких спортсменов. В качестве признательности за эту бурную деятельность Дим был избран руководителем немецкой сборной (в то время это называлось «шеф национальной миссии»).
Впрочем, успех к немцам пришел не сразу. На зимних Олимпийских играх в Санкт-Морице германская сборная фактически никак не проявила себя. Ей удалось завоевать лишь одну бронзовую медаль (санные гонки — прототип бобслея). Но уже в Амстердаме немцев ожидал форменный триумф. Немецкая сборная с 11 золотыми, 9 серебряными и 19 бронзовыми медалями заняла второе место, уступив пальму первенства США. Но если наметился успех немецкого спорта на международном уровне, то это не стоило воспринимать как само собой разумеющееся обстоятельство. Карл Дим полагал, что это было результатом его многолетних усилий. Немцы, побеждавшие на Олимпиадах, были для него не каким-то «чудом», а «нормальными, хорошо натренированными, талантливыми борцами с сильной волей, которые являлись естественным проявлением здорового народа». Как бы то ни было, но общественность оценила заслуги Дима. В октябре 1928 года рейхспрезидент Пауль фон Гинденбург во время официальной встречи с представителями Немецкого Олимпийского комитета выразил им признательность за успехи спортсменов. Фактически это означало, что государство было готово в полной мере поддерживать немецкий спорт. С этого момента была поставлена новая задача: добиться того, чтобы одни из Олимпийских игр были проведены в Германии.
В 1927 году во время сессии Международного олимпийского комитета, проходившего в Монако, президент Немецкого имперского комитета физической культуры Теодор Левальд внес Берлин в число городов, которые претендовали на то, чтобы принимать у себя летние Олимпийские игры 1936 года. По большому счету это была импровизация, так как немецкое спортивное руководство стало обсуждать эту идею только в 1928 году. Нельзя не отметить, что мнения по этому вопросу расходились. Если Теодор Левальд хотел во что бы то ни стало провести Олимпиаду 1936 года в Берлине, то Карл Дим считал это начинание преждевременным. Однако Левальду удалось одержать верх. Он не только смог переубедить Дима, но и сломил сопротивление «Немецкого турнершафта», для чего ему пришлось заручиться поддержкой самого Гинденбурга. С этого момента от Дима более не раздавалось ни слова критики — он полностью посвятил себя тому, чтобы содействовать «победе» германской столицы. Ведь решение было принято только Немецким Олимпийским комитетом, но МОК еще не вынес своего вердикта.
Первая реальная попытка повлиять на решение Международного олимпийского комитета была предпринята в 1930 году, когда в период с 25 по 30 мая в Берлине проходил X Олимпийский конгресс. Данное мероприятие по предложению Левальда было использовано, чтобы продемонстрировать членам МОК готовность германской столицы принять международные соревнования столь высокого уровня. В первую очередь надлежало показать организаторские способности немецкого спортивного руководства. Задача оказалась не столь простой. Проблема заключалась в том, что в самом разгаре находился мировой экономический кризис, начавшийся в 1929 году. Выделенные германским правительством на проведение конгресса 50 тысяч марок рисковали обесцениться. Но треволнения оказались напрасными — X Олимпийский конгресс прошел на очень высоком уровне. По этой причине Карл Дим и Теодор Левальд ожидали благоприятного для Германии решения членов МОК по вопросу, в каком городе должна была проводиться Олимпиада 1936 года. Всего же за эту почетную обязанность боролись четыре столицы: Берлин, Барселона, Рим и Будапешт. Окончательное принятие решения должно было произойти в апреле 1931 года в Барселоне. Позиции Берлина значительно усиливались тем, что предварительно из «гонки» выбыли Рим и Будапешт. В итоге членам Международного олимпийского комитета приходилось выбирать между Барселоной и Берлином. 43 голоса было отдано Берлину, 16 — Барселоне. Давнишняя мечта немецкого спортивного руководства стала претворяться в жизнь: Олимпиада 1936 года должна была пройти на германской земле.
Тем не менее не все немцы одинаково восторженно восприняли это решение. Многих смущало, что готовиться к Олимпиаде надо было в условиях кризиса, который традиционно сопровождался безработицей, нуждой и политическими потрясениями. Немалое количество жителей Германии полагали, что подготовка к проведению Олимпиады в подобных условиях была ничем не оправданной расточительностью. Вновь стали заявлять свои протесты представители «Немецкого турнершафта». Однако Карлу Диму удалось составить олимпийскую программу, финансирование которой не должно было нанести ущерба немецкому спорту. Но даже это не могло снять все вопросы; сопротивление со стороны некоторых спортивных объединений можно было ощущать годы спустя. Под сомнение даже ставилась необходимость участия германской сборной в Олимпийских играх 1932 года, которые проходили в Лос-Анджелесе. Но, несмотря на многочисленные протесты, у Карла Дима не было никаких колебаний. Если Берлин хотел принять Олимпиаду в 1936 году, то германская сборная непременно должна была быть в Америке в 1932 году.