Он писал Брэндеджу из Италии: «Только США и Великобритания заинтересованы в защите прав евреев. В этих странах евреи, как нище, сильны, а потому употребляют свое влияние, чтобы использовать Олимпийские игры в собственных политических целях». Положа руку на сердце можно сказать, что Зигфрид Эдстрем никогда не скрывал своих антиеврейских настроений. Еще в декабре 1933 года он писал Брэндеджу: «Не исключено, что настанет момент, когда вам придется остановить действия евреев. Они интеллектуальны, но нечистоплотны в делах. Многие из моих друзей являются евреями, а потому не подумайте, что я имею что-то против них. Но их надо держать в определенных рамках». Однако, несмотря на все эти заверения, Эдстрем пытался убедить Брэндеджа в том, что бойкотирование Берлинской Олимпиады являлось «происками сионистов». У Эдстрема был один очень мощный «аргумент», который позволял переманить американца на свою сторону. Речь шла о членстве в Международном олимпийском комитете. Проблема заключалась в том, что, являясь главой Американского олимпийского комитета, Эйвери Брэндедж не был членом МОК. В указанное время членами этой международной организации были только три американца: генерал Шеррил, полковник Уильям Гарланд и Эрнест Ли Джанке, некогда занимавший хороший пост на флоте. Джанке очень слабо разбирался в спорте, а потому его откровенно недолюбливали в МОК. Это прекрасно понимали и Шеррил, и Гарланд. А потому они предпринимали все возможное, чтобы заменить Джанке на кого-нибудь другого. И тут выбор падал только на Брэндеджа. Эдстрем заверял его, что как только Джанке подаст в отставку, то вопрос без проблем будет решен.
Впрочем, швед ни словом не обмолвился, почему Джанке должен был подать в отставку. Однако это нисколько не интересовало Брэндеджа. Он знал только лишь то, что надо было поступать так, как этого хотели президент и вице-президент Международного олимпийского комитета. Те же хотя и пытались скрывать свои симпатии к Германии, но получалось у них это не слишком хорошо. С указанного времени меняет свое отношение к рейху и Брэндедж. Еще недавно он был сторонником бойкота, но уже в первой половине 1934 года начинает активно агитировать за участие американской сборной в Берлинских играх. Честолюбие, конформизм, вера в «создателей Олимпиада» сделали свое дело. Но одно дело — изменить своим убеждениям, а другое дело — убедить в необходимости сделать это многих других. И тут Брэндеджу надо было немало потрудиться.
Первая задача Брэндеджа состояла в том, чтобы по поручению Американского олимпийского комитета направиться в Германию, где предстояло изучить условия жизни еврейских спортсменов. И лишь на основании собранной информации комитет в США должен был принять конкретное решение. Однако, прежде чем прибыть в рейх, американский деятель в августе 1934 года прибыл в Стокгольм, где проходил съезд представителей Международной федерации легкой атлетики. В Швеции все было заранее подготовлено к встрече Брэндеджа. В особняке, в котором проживал Зигфрид Эдстрём, он как бы случайно столкнулся с Левальдом, фон Хальтом, Димом и Юстасом Мейерхофом. Последний был евреем по национальности, что не мешало ему состоять в Берлинском спортивном клубе. Поведение Мейерхофа было настолько свободным, что Брэндедж не заподозрил подвоха. Об этой «случайной» встрече позже вспоминал Карл Дим: «Мы показали Брэндеджу документы, из которых следовало, что евреи могли свободно принимать участие в спортивных соревнованиях и в Олимпийских играх в том числе. Мейерхоф рассказал нам историю, как хотел покинуть Берлинский спортивный клуб, но его «отставка» не была принята. Никогда в жизни я не был горд за свой клуб, как в тот момент. Брэндедж был впечатлен не меньше».
Американец прибыл в Германию 12 сентября 1933 года. Вначале он оказался в Восточной Пруссии, в Кенигсберге. Его путешествие по Третьему рейху продолжалось чуть меньше недели. В эти несколько дней Брэндеджу пытались показать только привлекательную сторону «новой Германии». Ему даже позволили встретиться с еврейскими спортсменами. Но Брэндедж очень плоховато знал немецкий язык, а потому общаться ему приходилось через переводчиков, которые «любезно» были предоставлены национал-социалистическим правительством. В итоге у заморского гостя сложилось впечатление, что еврейским спортсменам не чинилось никаких препятствий и неудобств. Брэндедж оказался настолько очарован рейхом, что год спустя в США на одном из собраний произнес: «Америка должна поучиться у Германии. В этой стране проведена эффективная и успешная работа. У этой страны есть дух». Принимая в расчет эти слова, нельзя не учитывать, что американец долгое время представлял себе Германию страной образца конца 20-х, то есть он думал увидеть страну, страдающую от «отчаяния», «долгов», а потому бездумно погруженную в «ночную жизнь» и «истеричное веселье». Однако взору Брэндеджа предстали подтянутые немцы в униформе, которые были «гостеприимными, учтивыми, хорошо воспитанными и дружелюбными людьми». Все же Брэндедж предпочитал видеть не национал-социалистический рейх, а «Олимпийскую Германию», в которой якобы никто не заслуживал несправедливых наград. Оп заблуждался, и эти заблуждения привил своим соотечественникам.
Когда Эйвери Брэндедж вернулся в США, то стал всех подряд заверять, что для бойкотирования Берлинских игр не было пи причин, ни поводов. 26 сентября 1934 года его доклад заслушивал Американский олимпийский комитет. Еще не так давно Густав Кирби, настойчиво требовавший отказаться от участия в Олимпиаде 1936 года изменил свою позицию самым кардинальным образом. Оп заявил: «Я полагаю, что Германия будет придерживаться всех своих обещаний. Из сообщения мы узнали, что она более не намерена сворачивать с курса, который был взят». Не менее восторженные слова себе позволял и генерал Шеррил. Он полагал, что именно американские спортсмены заставили национал-социалистов изменить если не отношение, то хотя бы условия жизни евреев. Не было ничего удивительного в том, что после этих слов все восемнадцать членов Американского олимпийского комитета единодушно проголосовали за участие сборной США в Олимпиаде 1936 года. Аналогичное решение было принято и по вопросу об участии в зимних Олимпийских играх, которые в феврале 1936 года должны были стартовать в Гармиш-Партешенрхене. После этого Теодор Левальд сделал «реверанс». В сообщении, адресованном АОК, он заявлял: «Олимпийские игры нельзя считать в полной мере таковыми, если бы в них не принимали участие американские спортсмены». Но не стоило полагать, что требования организовать бойкот сразу же утихли. В день возвращения в США Эйвери Брэндедж получил письмо от Сэмюеля Уптермейера, возглавлявшего так называемую «Антинацистскую Лигу». В письме говорилось: «Участие в этих играх нарушает экономический бойкот и культурную изоляцию, которые весь цивилизованный мир хочет использовать для борьбы с озверевшим режимом. Ни один обладающий чувством собственного достоинства еврей, в какой бы стране мира он ни проживал, не позволит ссбе прибыть в нацистскую Германию». Деятельность «Антинацистской Лиги» поддерживал Эдмунд Селлер, сенатор от демократов. Он заявил публике, что «Брэндедж оказался в силках, расставленных устроителями состязаний в рейхе, — решение было принято еще до того, как он приплыл в Германию».
Если же оценивать ситуацию 1934 года в целом, то протесты против участия в Олимпиаде и призывы к ее бойкоту были спорадическими. Тем не менее, вопреки тому, что Американский олимпийский комитет принял однозначное решение, из Любительского спортивного союза США все еще раздавались голоса, заявлявшие, что тема не была исчерпана. Между тем Эйвери Брэндедж решил оставить пост главы этой организации, который он занимал шесть лет (по тем временам — немалый срок). На съезде союза, который проходил в Майами, он решил передать президентство бывшему нью-йоркскому судье Джереми Махони. Забегая вперед, можно утверждать, что Брэндедж просчитался: долгие полтора года ему придется постоянно отражать атаки «законника». Накалялась обстановка и в Великобритании.