Весной 1920 года, воспользовавшись тем, что основные силы Красной Армии были отвлечены на борьбу с остатками армии Врангеля, полчища Пилсудского вторглись на территорию Украины и Белоруссии. Так Польша, получившая независимость от Советской Республики, «отблагодарила» ее. 25 мая 1920 года поляки заняли Киев. В целях усиления разведывательной работы в тылу банд Пилсудского весной 1920 года в Особом отделе ВЧК создается особое подразделение — Иностранный отдел, а при Особых отделах армий — иностранные отделения.
Поход польских белогвардейцев против Советской Республики закончился их поражением. В конце 1920 года под ударами Красной Армии польские интервенты были вынуждены очистить Украину и Белоруссию. Войска Тухачевского быстро продвигались к Варшаве. Перед лицом окончательного поражения Польши министр иностранных дел Великобритании лорд Керзон предъявил советскому правительству ультиматум. Одновременно страны Антанты оказали обанкротившемуся режиму Пилсудского срочную военную помощь. Обороной Варшавы руководил непосредственно французский генерал Вейган, являвшийся военным атташе Франции в этой стране.
Воспользовавшись тем, что тылы Красной Армии отстали от авангарда, а также массированной военной помощью Антанты, поляки отвергли мирные предложения советского правительства и перешли в контрнаступление. Польские войска оккупировали Западную Украину и Западную Белоруссию. Международное и внутреннее положение Советской России осложнилось. В связи с этим в сентябре 1920 года Политбюро ЦК РКП(б), проанализировав сложившуюся обстановку, пришло к выводу о том, что одной из причин неудачи Красной Армии в отражении польской агрессии явилось слабое ведение разведывательной работы в тылу интервентов.
Правда, еще с 1919 года органы ВЧК стали использовать заброску в тыл белогвардейских войск агентов для их последующего внедрения во вражеские формирования. Одному из таких агентов удалось даже проникнуть в организацию Б. Савинкова «Союз защиты Родины и свободы» на территории Польши и выявить активных ее участников. Но этого было явно недостаточно.
Политбюро ЦК РКП(б) приняло решение о координальной реорганизации внешней разведки. В нем, в частности, говорилось:
«Слабейшим местом нашего военного аппарата является, безусловно, постановка агентурной разведки, что особенно ясно обнаружилось во время польской кампании. Мы шли на Варшаву вслепую и потерпели катастрофу. Учитывая ту сложившуюся международную обстановку, в которой мы находимся, необходимо поставить вопрос о нашей разведке на надлежащую высоту. Только серьезная, правильно поставленная разведка спасет нас от случайных ходов вслепую».
В соответствии с этим решением Политбюро ЦК РКП(б) Председатель ВЧК Ф. Э. Дзержинский 20 декабря 1920 года издал приказ N 169 об организации Иностранного отдела ВЧК, как самостоятельного разведывательного подразделения, на которое возлагалось ведение закордонной разведки. Этот день принято считать днем создания внешней разведки органов госбезопасности. Иностранный отдел стал руководящим органом закордонной агентуры ВЧК.
В августе 1921 года в связи с переходом руководителя ИНО ВЧК Я. Х. Давыдова (Давтяна) на работу в Наркомат по иностранным делам, С. Г. Могилевский был назначен руководителем внешней разведки. Начальником ИНО ВЧК он являлся до марта 1922 года. К этому времени Гражданская война в России в основном завершилась победой Красной Армии над интервентами. Только на дальнем Востоке и Приморье оставались японские оккупанты, которые были изгнаны отттуда осенью 1922 года.
6 февраля 1922 года по предложению В. И. Ленина декретом ВЦИК РСФСР Всероссийская чрезвычайная комиссия была упразднена. На ее базе было образовано Государственное политическое управление при Наркомате внутренних дел РСФСР. Его работа ограничивалась, в основном, решением политических задач. В ГПУ было создано Секретно-оперативное управление (СОУ), в состав которого вошел и Иностранный отдел. На него по-прежнему возлагалась задача ведения разведывательной работы за рубежом. Однако поскольку в те времена Советская Россия находилась в политической изоляции, од новременно ведением разведывательной работы за рубежом занимались и Полномочные представительства ГПУ в Закавказье, в Забайкалье, в Средней Азии, на Дальнем Востоке и в Приморье.
Так, в частности, полпредство ГПУ на Дальнем Востоке вело разведку против Японии с территории Китая силами резидентур в Пекине и Харбине. Полпредство в Закавказье (Тифлис) занималось организацией разведывательной работы по Турции, Ирану, Ближнему Востоку и Балканам. Аналогичные задачи решались и другими полномочными представительствами. Главное внимание при этом уделялось ведению работы по белогвардейским эмигрантским организациям, нашедшим убежище за рубежом, борьбе с их специальными службами, а также выявлению их состава и планов подрывных акций против Советской России.
Одним из первых серьезных испытаний для С. Г. Могилевского на посту начальника ИНО стала оперативная подготовка к международной конференции в Генуе. Под его руководством внешней разведке удалось получить в ряде европейских стран упреждающую секретную информацию о намерениях правительств этих стран на конференции. ИНО ГПУ получило также сведения о том, что Англия и Франция стремятся создать вокруг Советской России «санитарный кордон» из стран «малой Антанты» и добиться дипломатической изоляции Москвы.
Уже в период Генуэзской конференции внешняя разведка перехватила переписку видных деятелей белой эмиграции Симона Петлюры и Василия Шульгина, присутствовавшим при акте отречения Николая П от трона. Из этой перепискинее чекисты узнали, что против советской делегации во главе с Г. В. Чичериным готовится террористический акт. Благодаря своевременно принятым мерам, покушение удалось предотвратить.
Советской делегации на Генуэзской конференции удалось сорвать планы Антанты по дипломатической изоляции нашего государства. 16 апреля 1922 года после заключения в итальянском городе Рапалло договора с Германией об установлении дипломатических и торговых отношений блокада Советской России была прорвана.
После открытия в Берлине официального дипломатического представительства была создана и первая совместная «легальная» резидентура ИНО ГПУ и Разведупра РККА в Германии. Ее возглавил сотрудник военной разведки Сташевский. Но уже в феврале 1923 года его сменил опытный работник ИНО ГПУ Бронислав Бортновский, еще в августе 1918 года принимавший участие в ликвидации «заговора послов», возглавляемого британским разведчиком Б. Локкартом.
Берлинская резидентура ИНО становится опорным пунктом закордонной разведки органов госбезопасности в Европе. Из берлинской резидентуры Центр получал важную политическую и экономическую информацию. Германия являлась также страной, из которой в Москву активно направлялись образцы современной техники.
Однако главной задачей внешней разведки в тот период оставалась борьба с белогвардейской вооруженной эмиграцией, которая рассматривалась в качестве главного противника. Ее руководители стремились сохранить воинские формирования белого движения, чтобы использовать их в будущей интервенции против Советской России. В одном из писем руководителя белой эмиграции генерала Врангеля своим сторонникам прямо писалось: «Главная и единственная задача русской военной эмиграции — борьба с советской властью». После революции из России выехало свыше двух миллионов человек. Далеко не все они вошли в вооруженные белогвардейские формирования, однако далеко не все из последних отказались от мысли об «освободительном походе» в Советскую Россию.
Подготовка к «крестовому походу» против большевиков носила различные формы. Достаточно сказать, что только в армии Врангеля, обосновавшегося первоначально на Балканах, действовала Академия Генерального штаба и несколько военных училищ. Врангель рассчитывал, что в случае вооруженной интервенции в Советскую Россию его войска «просто сметут прибалтийские страны для завоевания плацдарма против большевиков». Одновременно белая эмиграция планировала террористические акты против советских руководителей в самой стране и ее представителей за рубежом.