В 1923 году, по настоянию заместителя председателя ОГПУ Уншлихта, Ольского переводят на работу в Москву, где он возглавляет одно из подразделений контрразведки. Кто-то может подумать: все понятно, свою роль сыграли высокопоставленные связи, вот и взяли в центральный аппарат. Да, Ян Каликстович был непосредственно знаком с некоторыми руководителями ОГПУ, но дело совсем не в связях. Читаем характеристику, выданную комиссией по аттестации сотрудников ОГПУ: «Работоспособный, с широкой инициативой, безусловно, честный, усовершенствованно знакомый со всеми отраслями чекистской работы… Имеет колоссальные заслуги в области разработок разных контрреволюционных и шпионских организаций, известных ВЧК. Вполне соответствует своему назначению и, несмотря на молодость (родился в 1898 г.), способен занимать более высший пост». Это сказано о 24-летнем Ольском еще за год до переезда его в столицу.
В середине 1924 года в ОГПУ создается отдел пограничной охраны, и первым его руководителем становится Ян Каликстович, одновременно назначенный главным инспектором войск ОГПУ и начальником Высшей пограничной школы. Даже по тем временам нагрузка на его плечи легла немалая. Охрана наших рубежей, по существу, только приобретала облик стройной системы, сочетающей войсковое прикрытие и чекистскую работу в местах наиболее вероятного проникновения противника.
Значительную активизацию оперативной работы в приграничных районах отметил начальник КРО ОГПУ А. Х. Артузов. Видимо, не без его участия Ольский реализовал свое стремление вернуться в контрразведку. В конце 1925 года он стал помощником Артузова, а через некоторое время — заместителем. Во второй половине 20-х годов Ольскому пришлось руководить многими операциями чекистов и лично участвовать в наиболее важных мероприятиях. В этот период его работа отмечена двумя знаками «Почетный чекист», а к десятилетию органов госбезопасности коллегия ОГПУ наградила его почетным боевым оружием с надписью «За беспощадную борьбу с контрреволюцией». В 1927 году Ян Каликстович сменил на должности начальника контрразведывательного отдела легендарного Артузова, возглавив фактически все органы борьбы со шпионажем после объединения КРО и особого отдела в единый Особый отдел ОГПУ.
1929–1931 годы — особый период в чекистской биографии Ольского. Заняв исключительно ответственный пост в центральном аппарате органов госбезопасности, Ян Каликстович много внимания уделял обеспечению законности в деятельности чекистов и особенно следователей. Известны многочисленные факты, когда он жестко реагировал на нарушения закона со стороны работников ОГПУ. Даже по его коротким заметкам на полях документов и записок, адресованных Главному военному прокурору, можно судить, как дальновиден был Ольский, как он стремился предостеречь своих коллег и подчиненных от пренебрежения нормами закона при ведении следствия. Совместно с работниками ГВП он подготовил циркуляр, в котором категорически требовал от начальников особых отделов обеспечить соблюдение законности, устранить трения с военной прокуратурой.
Процесс устранения разногласий между военной прокуратурой и органами ОГПУ протекал сложно. Однако Ян Каликстович и его ближайшие сотрудники смогли стать выше ведомственных амбиций во имя интересов тех, кто по каким-либо причинам оказался под следствием. Ведь не секрет, что в ОГПУ тех лет торжествовал иной подход: арестовать побольше подозреваемых, а уж потом послушные следователи сумеют слепить дело любых размеров.
Ветераны-чекисты вспомнили немало фактов столкновений Яна Каликстовича с заместителем председателя ОГПУ Ягодой. И если бы не поддержка таких известных чекистов, как Е. Евдокимов, С. Мессинг, С. Реденс, то очень сомнительно, что Ольский остался бы в центральном аппарате ОГПУ.
Однако конфликт с Ягодой усиливался, и кульминация его пришлась на лето 1931 года, когда принималось решение по малоизвестному в исторической литературе, но значительному по масштабам делу «Весна». Возникло оно на Украине, а вдохновителем и организатором всех мероприятий по нему стал печально известный Леплевский, расстрелянный впоследствии за грубейшие нарушения законности. При явной поддержке Ягоды он хотел раздуть дело «Весна» до масштабов «Промпартии», и это ему удалось. В числе арестованных оказались известные военные специалисты, такие, как Верховский, Какурин, Линтау, Лукирский, Свечин, Снесарев и многие другие. Ольский и его непосредственный начальник Евдокимов резко выступили против арестов, проводимых по делу «Весна». Они допросили многих содержавшихся под стражей военных, изучили большое количество документов и утвердились в своих предположениях: дело «Весна» — «липа».
Ягода был очень встревожен таким поворотом событий. Тем более что ему стало известно о намерении Ольского, Евдокимова и еще ряда крупных чекистов опротестовать не только дело «Весна», но и некоторые другие и довести до руководства страны, что ОГПУ сворачивает на путь чрезмерных репрессий. Ягода кинулся за советом к тогдашнему руководителю Московского горкома Лазарю Кагановичу. И не ошибся. Лазарь Моисеевич не терпел «гнилого либерализма», был сторонником применения жестких мер к любому, кто пытался противодействовать немедленному и тотальному подавлению даже потенциальных противников «генеральной линии» Сталина. Силы оказались неравными. На совещании в ЦК генсек поддержал Кагановича и Ягоду, и по предложению Сталина в августе 1931 года было единогласно принято кардинальное решение разогнать бунтарскую группу в ОГПУ, не останавливаясь перед увольнением ее членов и переводом их на работу в гражданские учреждения.
Так Ян Каликстович Ольский оказался в системе общественного питания столицы. Этот серьезнейший поворот в своей судьбе он тяжело переживал, расставаться с делом, которому была отдана большая часть сознательной жизни, было нелегко.
Когда 30 мая 1937 года в дверь его квартиры настойчиво постучали, он сразу все понял…
Дело Ольского вел Зельман Пассов. Когда-то этот «заплечных дел мастер» работал под руководством Яна Каликстовича, ловил каждое его слово, а после событий 1931 года быстро переориентировался на леплевских, гаев, фриновских и им подобных. Зная Ольского, Пассов и не пытался его уговаривать. С первых же допросов начались избиения. «Скажи, — требовал Пассов, — что ты шпион и по заданию польской разведки внедрился в органы ВЧК, а все, что делал потом, — это лишь игра поляков, продвигавших тебя в руководящее звено ОГПУ». От Ольского добивались не только самооговора, но и признания в том, что многие ответственные чекисты состояли вместе с ним в шпионской организации. В черный список попали Уншлихт, Мессинг, Пиляр, Медведь, Бортновский, Пинталь, Глинский и многие другие чекисты.
27 ноября 1937 года Военной коллегией под председательством небезызвестного Ульриха Ольский был приговорен к высшей мере наказания — расстрелу. В тот же день приговор привели в исполнение. Тяжелая участь постигла и семью Яна Каликстовича: жена отбыла длительный срок в северных лагерях, старшего сына отдали в детский дом, младшего — приютили родственники.