Серов собирался быть кадровым военным. На фотографиях того времени запечатлен молодой бравый офицер. Военная служба ему нравилась. Но из академии приказом Главного политического управления Рабоче-Крестьянской Красной армии его распределили не в войска, а в народный комиссариат внутренних дел.
Известный писатель Эдуард Анатольевич Хруцкий, зять Серова, Рассказывал мне, что все произошло в один день:
— Часть выпускников уже разъехалась в места назначения, а Александрович, который получил назначение на Дальний осток, задержался на один день. И тут всех, кто не уехал, собрали в зале академии, пришел заместитель наркома обороны и начальник Главпура Лев Захарович Мехлис и сказал: весь выпуск поступает в распоряжение НКВД.
Это был бериевский призыв: НКВД укрепляли свежими людьми, партийными работниками и военными. Серова принял сам новоиспеченный нарком Берия и в одну минуту решил его судьбу. Серов был майором, Берия тут же произвел его в майоры госбезопасности.
Специальные звания, которые присваивались сотрудникам НКВД, были на две ступени выше соответствующих воинских званий. Иначе говоря, Серов из майоров сразу же оказался комбригом, а через два с половиной месяца он получил звание старшего майора, равное генерал-майору (до мая 1940 года комдиву).
И службу в наркомате Серов начинал сразу с высшей руководящей должности. 9 февраля 1939 года он приступил к исполнению обязанностей заместителя начальника Главного управления рабоче-крестьянской милиции НКВД СССР. А уже через девять дней стал начальником всей советской милиции.
Жена Серова страшно переживала, когда он вместо военной формы, которая ему очень шла, надел милицейскую. Михаил Павлович Шрейдер, который в 30-х годах служил в милиции и был в ежовщину арестован, пишет, что однажды, когда его допрашивали, вошел Серов, назначенный начальником Главного управления милиции НКВД, и попросил его о помощи:
— Вы могли бы помочь мне, новому в органах человеку, если бы разоблачили работников Главного управления милиции, участвующих в вашем контрреволюционном заговоре. Поймите, я чувствую, что окружен врагами, и не знаю их. А вашим чистосердечным признанием вы могли бы помочь мне.
В 1958 году на торжественной встрече в клубе КГБ чекист-ветеран Шрейдер напомнил об этом председателю КГБ Серову. Тот сказал, что не помнит такого случая, и снисходительно добавил: о прошлом надо постараться забыть…
После прихода Берии началась чистка наркомата от людей Ежова, и Серов стремительно продвигался по служебной лестнице. В милиции он проработал всего полгода.
В последних числах июля 1939 года его перевели в Главное управление государственной безопасности заместителем начальника главка и начальником 2-го (секретно-политического) отдела. Это было важнейшее подразделение, занимавшееся борьбой с антисоветскими элементами. До Серова отдел возглавлял один из ближайших к Берии людей Богдан Захарович Кобулов, ушедший на повышение.
2 сентября 1939 года, на следующий день после начала Второй мировой войны, Серов стал наркомом внутренних дел Украинской ССР. И его тут же произвели в комиссары госбезопасности третьего ранга.
До него наркомом был Успенский — тот самый, который, пытаясь избежать неминуемого расстрела, бежал из Киева и несколько месяцев скрывался под чужой фамилией.
Нового наркома долго не могли подобрать, пока не остановились на кандидатуре Серова. До его приезда обязанности главы наркомата исполнял младший брат Богдана Кобулова Амаяк, который потом поедет резидентом разведки в Берлин.
В Киеве жизнь связала Серова с первым секретарем ЦК компартии Украины, первым секретарем Киевского обкома и горкома партии Никитой Сергеевичем Хрущевым.
А весной 1940-го он познакомился еще и с Георгием Константиновичем Жуковым, только что произведенным в генералы армии и назначенным командующим войсками Киевского особого военного округа. Эти два человека сыграют в его жизни ключевую роль, в особенности, конечно, Хрущев.
Через две недели после переезда Серова в Киев советские войска вступили в войну с Польшей. Западную Украину включили в состав Советского Союза, и органы НКВД ускоренными темпами проводили чистку новых областей от антисоветских элементов.
Важнейшей задачей была организация лагерей для польских пленных и аресты бывших польских офицеров, полицейских, политиков, польской интеллигенции и вообще сколько-нибудь заметных людей. Работу, которую чекисты на территории Советского Союза выполняли уже двадцать лет, на новоприсоединенных областях требовалось провести в сжатые сроки.
Помимо польских офицеров, убитых в Катыни, немалое число поляков, арестованных оперативными группами НКВД, расстреляли прямо в тюрьмах западных областей Украины.
Чекисты под руководством Серова арестовали и выслали из западных областей Украины и Белоруссии 380 тысяч человек. В августе 1941 года, когда в результате нападения нацистской Германии политическая ситуация изменилась, почти все поляки — кто выжил — были амнистированы.
Для непосредственного руководства операциями Серов из Киева перебрался во Львов, культурный и исторический центр Западной Украины.
Валентин Бережков был на Украине, когда Западную Украину присоединили. То, что он увидел, потрясло его:
«Началось раскулачивание, насильственная коллективизация, ликвидация частных предприятий и кустарных мастерских… Наши офицеры и работники различных советских ведомств, нахлынувшие в освобожденные районы, скупали все, что в Москве являлось дефицитом. Мелкие лавочки и кустари разорились. Цены на все, включая и продовольствие, подскочили до небес, а заработная плата у местного населения оставалась прежней. Все это, естественно, вызвало протесты, вспыхнули студенческие демонстрации…
Начались аресты, жестокие расправы с участниками демонстраций, депортации…
Наши органы госбезопасности занимали в освобожденных районах помещения бывшей жандармерии, что многим украинцам и белорусам, ненавидевшим секретную службу панской Польши, представлялось особенно зловещим. Использовать такие здания, было, видимо, удобно, ибо там имелись подземные тюрьмы. Однако с политической точки зрения это было конечно же недопустимо, ибо оскорбляло чувства населения».
Серов как нарком внутренних дел Украины, вспоминает Хрущев, «установил тогда контакты с гестапо. Представитель гестапо официально прибыл по взаимной договоренности во Львов со своей агентурой… Предлогом был „обмен людьми“ между нами и Германией». Это было время союзнических отношений с нацистской Германией.
В апреле 1940 года Серов получил первый орден Ленина.
Серов прослужил на Украине полтора года. В феврале 1941 года, после разделения НКВД на два наркомата, его отозвали в Москву и 25 февраля назначили первым заместителем наркома госбезопасности СССР, наркомом был Всеволод Николаевич Меркулов. Через полгода НКВД и НКГБ слили, и Серова назначили заместителем наркома внутренних дел.
Серов курировал милицию, пожарную охрану, тюремное управление, штаб истребительных батальонов и управление по делам о военнопленных и интернированных.
Вместе с другими заместителями Берии Иван Александрович занимался крупномасштабными операциями по депортации целых народов. 12 августа 1941 года Сталин приказал ликвидировать Автономную Советскую Социалистическую Республику Немцев Поволжья и вывезти всех немцев подальше от линии фронта в Сибирь, на Алтай, в Киргизию и Казахстан.
Руководил операцией замнаркома внутренних дел Серов. Справились за два месяца. Для вывоза немцев собрали несколько тысяч сотрудников наркомата внутренних дел, милиции и даже армейские части. В решающие недели осени 1941 года фронт отчаянно нуждался в людях, но Сталин страшно боялся восстания в тылу, того, что недовольные советской властью люди попытаются ее свергнуть.
В дни обороны Москвы Серов командовал войсками НКВД московской зоны, в частности занимался очищением столицы от преступного элемента. В конце 1942 года он получил второй орден Ленина.