Деятельность Блюмкина в Монголии вызвала серьезные нарекания начальника разведупра Берзина, который докладывал наркому Ворошилову: «Поведение Блюмкина весьма разлагающим образом действует на всех инструкторов и в дальнейшем может отразиться на боеспособности Монгольской армии… Считаю, что в ближайшее время его нужно отозвать из Монгольской армии». По-видимому, предложение Берзина было принято, и в ноябре 1927 года Блюмкин прибывает из Монголии в Москву. Несколько месяцев он слоняется по столице в ожидании нового назначения, в марте-июне 1928 года отдыхает в Гагре и, только вернувшись оттуда, получает предложение отправиться на нелегальную работу «на Восток». Два месяца, разъезжая по стране, он готовит нужных ему для нового задания людей и исчезает на полгода, лишившись на это время возможности следить за политической жизнью в Советском Союзе. «Условия моей конспирации заставляли меня моментами скрывать знание русского языка…»
Страной, куда был направлен Блюмкин для нелегальной работы, была… Индия! По плану, разработанному Троцким и его советниками, Конная армия Буденного должна была ударить через Афганистан на Пенджаб и Белуджистан, вызвать здесь народное восстание против англичан, и, когда они увязнут в боях, Красная Армия во главе с Тухачевским должна была двинуться через западную границу на Польшу и Германию. Для организации подпольной работы в северо-западных провинциях Индии и был, по всей вероятности, направлен Блюмкин.
Но дело сорвалось: в марте 1929 года англо-индийское правительство нанесло внезапный удар по рабочим организациям, произведя массовые аресты, а уже в апреле Блюмкин объявился в Константинополе! «12 апреля, — писал он позднее в своих показаниях, — проходя по улице Пера, у туннеля я случайно встретил сына Троцкого, Льва, с которым я был хорошо знаком и раньше, поздоровавшись с ним, я уверил его в моей лояльности и попросил информацию». В том, что она была ему крайне необходима, убеждает собственное признание Якова Григорьевича, крайне болезненно воспринявшего сообщение о высылке Троцкого из России в феврале 1929 года. «Высылка Троцкого меня потрясла, — говорил он. — В продолжение двух дней я находился прямо в болезненном состоянии». И вот теперь ему предоставлялась возможность лично встретиться со своим кумиром.
«16 апреля, разумеется, с соблюдением строжайшей конспирации, чтобы не провалить себя, я имел продолжительное свидание с Троцким. Его личное обаяние, драматическая обстановка его жизни в Константинополе, информация, которую он мне дал при беседе, — все это подавило во мне дисциплинарные соображения, и я представил себя в его распоряжение».
Полтора месяца провел Блюмкин в Константинополе, встречаясь с сыном Троцкого, читая оппозиционную литературу, составляя записки для своего бывшего патрона, строя всевозможные планы. 30 мая он снова уехал в Индию, где тогда разворачивались драматические события, связанные с так называемым Мирутским процессом. В первых числах августа он появился в Константинополе, а 14 августа прибыл в Москву, имея от Троцкого задания по установлению конспиративной связи в СССР. После этого он исчез на полтора месяца, до первых чисел октября…
Первые сведения о появлении Блюмкина в Москве поступили в ОГПУ 16 октября 1929 года. В «Деле № 864И» сохранилось заявление сотрудника журнала «Чудак» Б. Левина, который спешил известить чекистов, что 14 октября в квартиру Идельсон — жены художника Фалька — явился совершенно деморализованный Блюмкин, умоляя спасти его от ГПУ. На попытки успокоить его он почти не реагировал и только твердил, что он — представитель оппозиции в ГПУ, что он за границей был у Троцкого, что ему необходимо спрятаться, так как его преследуют.
Потом, попросив обменять ему на рубли сто долларов, он куда-то ушел, вернулся остриженный и без усов, часто звонил по телефону, спрашивая Михаила Абрамовича и какую-то Лизу. Просил купить ему расписание поездов и другой костюм. Вечером стал упрашивать съездить в чайную за Казанским вокзалом, где ему должны передать чемодан. Подруги хозяйки поехали в чайную, и там действительно какая-то девушка передала для Блюмкина чемодан, в котором было много долларов. Часть денег Блюмкин рассовал по карманам, часть переложил в портфель. Во время разговоров Яков Григорьевич нервничал, все время заряжал и разряжал револьвер.
Хранится в деле и служебная записка той самой Лизы, о которой упоминал Левин. Ею оказалась сотрудница ГПУ Лиза Горская, которая в записке на имя начальника секретного отдела ОГПУ Я. Агранова сообщала, что с 5 октября несколько раз встречалась с Блюмкиным. По ее словам, Блюмкин производил впечатление потерянного человека: принимал взаимоисключающие решения, рассуждал о смысле жизни. Под большим секретом рассказал ей о встречах с Троцким, раскаивался в содеянном и обещал повиниться перед начальством и партией. Говорил, что был у Радека, и в присутствии Смилги признался в своем проступке, и теперь опасался, что кто-либо из них выдаст его Трилиссеру. Тут Лиза сообразила, что вовсе не обязательно ждать, пока раскаяние одолеет Блюмкина, что сообщить обо всем Трилиссеру может она сама. Услышав страшную новость, Михаил Абрамович посоветовал Лизе не встречаться больше с Блюмкиным и велел вызвать его в ОГПУ. И тут выяснилось, что Яков Григорьевич исчез…
Но вскоре сам позвонил Горской и сказал, что решил не идти ни туда, ни сюда, ни в ОГПУ, ни в ЦК партии, а предпочитает исчезнуть на время и просил ее помощи. Об этом звонке Лиза тут же доложила Трилиссеру и, получив от него инструкции, отправилась на встречу с Блюмкиным. Минут двадцать она убеждала его явиться с повинной к Трилиссеру, но он упорно твердил одно: пойти — значит погубить себя, лучше на время скрыться. Остановившись на этом решении, он просил Лизу проводить его на вокзал, зайдя предварительно в квартиру за вещами. «В квартиру я, по указанию т. Трилиссера, отказалась пойти, и тогда Блюмкин решил поехать без вещей, — писала в записке Горская. — Мы вышли на улицу, мне пришлось сесть с ним в машину (т. Трилиссер дал мне указание не делать этого, но наши товарищи опоздали, и я уже остановить его не могла). Поехали на какой-то вокзал, где я надеялась арестовать его с помощью агента ТО ОГПУ или милиционера. Поезда на Ростов уже не было. Узнав, что поезда нет, Блюмкин окончательно растерялся, говорил, что раз он не уехал сейчас, то „катастрофа неизбежна“, что он будет расстрелян, что он обсуждал с Радеком (а может быть, с Троцким — этого я точно не помню) вопрос о каких-то экспроприациях, что не только он один связан в Троцким, но еще кто-то из работников нашего нелегального аппарата. На обратном пути с вокзала — по Мясницкой — наши товарищи встретили нас и задержали».
Когда на следующий день один из руководящих работников ОГПУ, Агабеков, явился на службу и узнал об аресте Блюмкина, он был ошеломлен. «Арестован Блюмкин, любимец самого Феликса Дзержинского. Убийца германского посла в Москве графа Мирбаха. Ведь еще два месяца тому назад, когда Блюмкин вернулся из своей нелегальной поездки по Ближнему Востоку, он был приглашен на обед самим Менжинским… Его мнением о положении на Востоке интересовались Молотов, тогда бывший главой Коминтерна, и Мануильский. Он бывал частым гостем у Радека. Наконец, он жил на квартире у министра в отставке Луначарского в Денежном переулке. А теперь он в тюрьме… Казалось невероятным…»
Перед арестом Блюмкин повернулся к такси, где сидела Горская, и сказал: «Ну, прощай, Лиза. Я ведь знаю, что это ты меня предала…» Потом всю дорогу до ГПУ он молча курил…
Блюмкина судили и вменили ему в вину такие преступления: недопустимый визит к Троцкому, объявленному контрреволюционером; доставку в СССР подстрекательских писем от него; попытку восстановить нелегальную организацию троцкистов; вербовку Горской в организацию троцкистов на роль связной; нелегальный провоз оружия.
Блюмкин признал свою вину только по трем пунктам. При голосовании в ОГПУ голоса разделились. За тюремное заключение высказались Трилиссер, Берзин, его зам по разведке Артузов. За смертную казнь голосовали: Ягода, Агранов, Паукер, Молчанов и др. Менжинский ввиду щекотливости ситуации воздержался. Сталин и Политбюро ЦК партии утвердили приговор. 3 ноября 1929 года Блюмкина расстреляли. Узнав об этом решении, он спросил: «А о том, что меня расстреляют завтра, будет в „Известиях“ или „Правде“?»