Вернувшись в Киев, Успенский стал лихорадочно искать выход из создавшейся ситуации. Первым делом он решил выяснить возможность нелегального, вместе с семьей, перехода советско-польской границы. Но нелегально перейти границу оказалось невозможно. И тогда Успенский решил спасаться в одиночку, затерявшись на бескрайних просторах страны. С этой целью он приказал оперативно-техническому отделу своего наркомата изготовить пять комплектов фиктивных документов. Четыре комплекта он уничтожил, а один, на имя Шмашковича Ивана Лаврентьевича, оставил у себя.
Утром 14 ноября 1938 года Успенскому позвонил Ежов и сказал, что его вызывают в Москву. При этом он добавил: «Плохи твои дела», а в конце разговора заметил: «А в общем, ты сам смотри, как тебе ехать и куда именно ехать». Успенский сразу же понял, что в Москве его ждет арест, и решил немедленно бежать. В шесть часов вечера он вызвал машину, сообщив секретарю, что собирается съездить домой пообедать и заодно переодеться в штатское, так как вечером у него намечена встреча с агентом в городе. В девять часов вечера он вернулся в свой кабинет и продолжил работу. Наконец, в пять часов утра он покинул здание наркомата, сказав, что хочет прогуляться пешком. Больше его никто из работников наркомата не видел.
Когда на следующий день Успенский не появился на работе, в наркомате поднялся переполох. Позвонивший ему на квартиру секретарь узнал, что Успенский дома так и не появлялся. Было решено вскрыть кабинет наркома. Там на рабочем столе была обнаружена записка: «Ухожу из жизни. Труп ищите на берегу реки». Впавшие в панику подчиненные Успенского немедленно доложили о случившемся Ежову, а сами снарядили поисковую группу, в которую входили водолазы, на берег Днепра. Там, в кустах, была обнаружена одежда наркома, но его тело так и не было найдено.
Интересные воспоминания по поводу исчезновения Успенского оставил Н.С. Хрущев, в то время занимавший пост первого секретаря ЦК компартии Украины. Вот что он пишет:
«Звонит мне Сталин: «Есть показания на наркома внутренних дел Украины Успенского, и они у нас не вызывают сомнений». По телефону мне послышалось, что тот говорит об Усенко, комсомольском работнике. Сталин: «Можете арестовать его сами?» — «Можем, если будет поручено». — «Арестуйте!» Но когда он начал уточнять детали, я понял, что речь идет об Успенском. Не успел я положить трубку, Сталин опять звонит: «Насчет Успенского ничего не нужно делать. Мы это сами сделаем. Отзовем его в Москву и в пути арестуем». А я собирался ехать в Днепропетровск. Уехал. Успенского же отозвали в Москву. У меня имелось предчувствие, что он не поедет туда, потому что догадывается, что может быть арестован. И, уезжая, я сказал Коротченко, председателю Совнаркома Украины: «Ты позванивай якобы по делам Успенскому, понаблюдай за ним, ведь ты остаешься тут за меня». Утром приехал я в Днепропетровск, а мне туда звонит Берия. Именно Берия, а не Ежов: «Вот, ты там разъезжаешь, а твой Успенский сбежал». — «Как?» — «А вот так, сбежал, и все». Я срочно вернулся в Киев. Действительно, Успенского нигде нет. Потом, когда я опять был в Москве, Сталин сказал мне, что, видимо, Ежов его предупредил: «Ежов подслушал нас, когда я с вами разговаривал, и предупредил Успенского по телефону».
Как видно из воспоминаний Н. Хрущева, отличавшийся подозрительностью Сталин не поверил в самоубийство Успенского. По его личному распоряжению новый парком НКВД СССР Л. Берия (Ежов был снят с должности почти сразу же после исчезновения Успенского), организовал поиски «утопленника». В Москве был создан штаб по руководству поисками, а в областных управлениях НКВД — специальные розыскные группы. Фотографии Успенского были разосланы во все отделения милиции. Была арестована его жена, а за всеми родственниками, особенно за теми, кто проживал в Москве, было установлено постоянное наблюдение. В результате один из двоюродных братьев Успенского, работавший на железной дороге в Ногинске, обнаружив слежку и решив, что его скоро арестуют, покончил с собой.
Что касается Успенского, то он, оставив одежду на берегу Днепра, отправился на вокзал, где жена вручила ему купленный для него билет до Воронежа. Но до Воронежа он не доехал, а сошел с поезда в Курске, рассчитывая таким образом сбить преследователей со следа. Пробыв к Курске несколько дней, он отправился в Архангельск, надеясь устроиться там на работу. Но это ему не удалось, и он поехал в Калугу, а оттуда — в Москву, в надежде разыскать верных друзей, у которых можно затаиться. В Москве Успенский через справочное бюро узнал адрес некой М. Матсон, в прошлом его хорошей знакомой, и направился к ней. Но она приютить его не могла, поскольку сама, как жена репрессированного, жила г. Москве у чужих людей. Успенский уезжает в Тулу.
Впрочем, Матсон не бросила Успенского в беде. Когда в скором времени она получила в Наркомздраве назначение на работу в Муром заведующей родильным домом, то дала ему знать, что некоторое время он может пожить у нее. Успенский немедленно приезжает в Муром и поселяется у Матсон, которая выдает его за мужа, литературного деятеля, работающего на дому. У Матсон Успенский прожил до марта 1939 года, когда ее перевели на работу в Москву. Но за время работы в городской больно не она успела сделать для него фиктивную справку на подлинных бланках о том, что Шмашкович И.Л., заместитель директора школы по хозяйственной части, с 18 января по 19 марта 1939 года находился на лечении в Муромской больнице. С этой справкой Успенский отправляется на восток страны, надеясь обосноваться там. Побывав в Казани, Арзамасе и Свердловске, он едет в Челябинск в надежде устроиться на Миасских золотых приисках.
Тем временем в Москве на очередном допросе жены Успенского выяснилось, что она видела у него паспорт на имя Шмашковича. Немедленно все органы НКВД были оповещены, что объявленный в розыск Успенский может пользоваться документами на это имя. В результате розыскная группа Свердловского УНКВД 14 апреля 1939 года обнаружила в камере хранения на станции Миасс квитанцию на имя Шмашковича И.Л. Камера хранения немедленно была взята под усиленное наблюдение, и 16 апреля при попытке получить свои вещи Успенский был арестован.
Доставленный в Москву Успенский признался в том, что пытался скрыться, спасая свою жизнь. Впрочем, признался он и не только в этом. В итоге решением Военной коллегии Верховного суда СССР от 28 января 1940 года Успенский А.И. «за участие в антисоветском заговоре в органах НКВД и нарушение социалистической законности» был приговорен к расстрелу. Приговор был приведен в исполнение на следующий день. Несколько раньше, 21 октября 1939 года, той же коллегией «за активное участие в подготовке и совершении перехода Успенского на нелегальное положение» была приговорена к высшей мере наказания его жена, Успенская A.B. Приговор в отношении ее был приведен в исполнение 27 марта 1940 года.
Между тем проникавшие на Запад слухи о том, что происходило в СССР, отталкивали от сотрудничества с советской разведкой все больше людей, ранее способствовавших ее успешной работе. Одним из них был немец Вильгельм (ВИЛЛИ) Мюнценберг.
Мюнценберг родился в 1889 году. Рабочий-обувщик по профессии, он рано включился в рабочее движение. С 1915 по 1919 год он — секретарь Социалистического интернационала молодежи, еще в Первую мировую войну придерживался интернационалистских взглядов. С 1919 по 1921 год он — секретарь КИМа, В 1921 году Мюнценберг становится сотрудником созданного при Коминтерне секретного Отдела международных связей, который возглавлял Иосиф Аронович Пятницкий (ТАРШИС). ОМС работал в тесном контакте с ИНО ОГПУ и Разведуправлением РККА и вовлекал в секретную разведывательную работу иностранных коммунистов и сочувствующих, поскольку те охотнее помогали Коминтерну, чем советской разведке. Поэтому очень многие агенты ОГПУ-НКВД в тридцатые годы были уверены, что работают именно на Коминтерн. Помимо вербовки агентуры, ОМС занимался проведением «активных мероприятий» — формированием нужного СССР общественного мнения в зарубежных странах.