После Октябрьской революции Акулов в течение ряда лет находился на ответственной партийной, военной и профсоюзной работе. В ноябре 1917 года его направляют на Урал, где он становится вначале секретарем Екатеринбургского комитета РСДРП(б), а позднее — Уральского областного комитета партии. Во время мятежа белочехов он назначается комиссаром снабжения фронта. Вскоре после этого партия перебрасывает И. А. Акулова с одной должности на другую, причем он всегда оказывается в самых горячих точках полыхавшей огнем гражданской войны России. В 1918 году Акулов в Вятке возглавляет губком и губисполком, а в 1919 году он уже председатель Оренбургского комитета партии.
В 1920 году И. А. Акулов избран секретарем Киргизского, а в 1921 году — Крымского обкомов партии. В 1927–1931 годах он являлся председателем Всеукраинского совета профсоюзов, секретарем ВЦСПС, заместителем народного комиссара рабоче-крестьянской инспекции СССР, членом Президиума ЦКК. В 1931 году партия направила Ивана Алексеевича на работу в органы Государственного политического управления, где он стал первым заместителем председателя ОГПУ. В 1932 году его избрали секретарем ЦК КП(б) Украины по Донбассу.
Постановлением ЦИК и СНК СССР от 20 июня 1933 года, которое подписали М. И. Калинин, В. М. Молотов (Скрябин) и секретарь ЦИК А. Медведев, «в целях укрепления социалистической законности и должной охраны общественной собственности по Союзу ССР от покушений со стороны противообщественных элементов» была учреждена Прокуратура Союза ССР. На следующий день постановлением ЦИК СССР первым Прокурором Союза ССР был назначен Иван Алексеевич Акулов, а его заместителем — А. Я. Вышинский.
И. А. Акулов отдыхал с семьей в санатории «Мухалатка» в Крыму, когда на его имя неожиданно пришла правительственная телеграмма, подписанная И. В. Сталиным, М. И. Калининым и В. М. Молотовым. Из нее Иван Алексеевич и узнал о том, что он назначается на пост Прокурора Союза ССР.
17 декабря 1933 годы ЦИК и СНК СССР приняли исключительно важный законодательный акт — «Положение о Прокуратуре Союза ССР», над которым И. А. Акулов работал лично. Этим же постановлением была упразднена прокуратура Верховного суда СССР. Она выполнила свою первоначальную функцию и теперь требовался более мобильный и оперативный орган, который мог бы сцементировать всю прокурорскую систему. Положение устанавливало, что Прокурор Союза ССР назначается ЦИК СССР, а его заместитель — утверждается Президиумом ЦИК СССР. Прокурор Союза ССР был ответствен только перед Совнаркомом СССР, ЦИК СССР и его Президиумом.
В своей повседневной работе на посту Прокурора Союза ССР И. А. Акулов был исключительно простым в общении как со своими подчиненными, так и с многочисленными посетителями. Большое внимание он уделял укреплению связей работников прокуратуры с населением. Именно благодаря ему в Прокуратуре Союза ССР с первых же дней был налажен четкий порядок приема граждан и рассмотрения поступающих от них жалоб и заявлений. Причем обязанность вести прием посетителей он возложил на всех сотрудников, а не только на тех, кто работал в приемной. Наиболее важные жалобы, в которых сообщалось о грубых нарушениях законности, Акулов брал на личный контроль.
В марте 1934 года И. А. Акулов издал приказ «О перестройке аппарата прокуратуры в центре и на местах». Наверное, если бы Акулов был более сведущим в прокурорской деятельности, он не стал бы разрушать уже сложившуюся и хорошо зарекомендовавшую себя структуру аппарата прокуратуры, построенную по функциональному принципу. В приказе отмечалось, что отделы перестраиваются по производственному и производственно-территориальному принципу, что, по мнению руководства Прокуратуры Союза ССР, должно было обеспечить «высокое качество работы по охране общественной (социалистической) собственности и осуществлению социалистической законности» во всех сферах народного хозяйства и государственного аппарата, усилить единоначалие и личную ответственность каждого прокурора за порученную ему работу.
Для того, чтобы сосредоточить «основное внимание органов прокуратуры на судебно-следственной деятельности», было признано необходимым ликвидировать разделение в структуре прокуратуры на общий и судебный надзор, а также упразднить бюро жалоб. При этом предполагалось, что каждый отдел будет осуществлять весь комплекс задач, стоящих перед органами прокуратуры, начиная от разрешения жалоб и заканчивая надзором за рассмотрением дел в суда х. Поэтому вместо отделов были образованы сектора по делам промышленности, сельского хозяйства, торговли, кооперации, финансов и др.
В Прокуратуре Союза ССР сохранялись Главная военная прокуратура, Главная транспортная прокуратура (с выделением из нее водной прокуратуры), прокуратуры по спецделам, сектор надзора за местами лишения свободы и управление делами.
Новая структура Прокуратуры Союза ССР и нижестоящих прокуратур, как и следовало ожидать, оказалась недолговечной. Искусственное разделение прокуратуры по производственному принципу не дало желаемых результатов, и менее чем через три года (при Прокуроре Союза ССР А. Я. Вышинском) органы прокуратуры вновь перешли на работу по функциональному принципу, который с теми или иными изменениями сохранился и в наше время.
Неоценимую роль в деле дальнейшей централизации органов прокуратуры сыграло первое Всесоюзное совещание судебных и прокурорских работников. Оно открылось 23 апреля 1934 года в здании Прокуратуры Союза ССР. Доклад «Решения XVII партсъезда и задачи органов юстиции» сделал Прокурор Союза ССР И. А. Акулов. В своем полуторачасовом выступлении он остановился на всех наиболее актуальных вопросах практической деятельности прокуроров, судей и народных следователей, проанализировал задачи, стоящие перед органами юстиции на современном этапе, обратив особое внимание участников совещания на целом ряде «недочетов и извращений» и предложив конкретные меры по их устранению. Как писала тогда пресса, «докладчик говорил просто, без малейшей погони за вычурной красной фразой».
В руководстве работой прокуратуры на местах И. А. Акулов проявлял большую оперативность и требовал этого же от своих подчиненных. Он был противником «бумажного руководства», очень быстро подмечал самые больные вопросы, на которые всегда остро реагировал. В целях коллективной выработки наиболее важных решений, И. А. Акулов организовал в Прокуратуре СССР так называемое оперативное совещание, порядок работы которого определялся специальным приказом (прообраз будущей коллегии).
При И. А. Акулове Прокуратурой Союза ССР был учрежден собственный журнал «За социалистическую законность» (позднее стал называться «Социалистическая законность», а в настоящее время — «Законность»). Первый номер журнала был подписан в печать в конце января 1934 года. Ответственным редактором его стал Акулов.
1 декабря 1934 года в Смольном выстрелом из револьвера был убит член Президиума ЦИК СССР и Политбюро ЦК ВКП(б), секретарь Центрального и Ленинградского областного комитетов ВКП(б) Сергей Миронович Киров. Его убийцу Л. В. Николаева задержали на месте преступления.
Расследование этого дела — одна из самых темных страниц истории советской прокуратуры. Прокурор Союза ССР И. А. Акулов оказался в полной зависимости от работников НКВД, которые разрабатывали только ту версию убийства, которую выдвинул И. В. Сталин. Он не противодействовал незаконным методам ведения следствия и фактически потворствовал нарушителям законности. Формально Акулов, его заместитель Вышинский и следователь Шейнин также допрашивали обвиняемых, но допросы сводились лишь к оформлению предварительно «выбитых» показаний.
Трагические события, происшедшие 1 декабря 1934 года, фактически развязали руки властям для организации массовых репрессий по всей стране. Но чтобы не проводить их без оглядки на строгие рамки законности, нужно было срочно изменить сам закон. Уже в день убийства С. М. Кирова Сталин распорядился подготовить соответствующий документ. На следующий день было опубликовано постановление, принятое ЦИК СССР 1 декабря 1934 года, «О внесении изменений в уголовно-процессуальное законодательство», подписанное М. И. Калининым и А. С. Енукидзе (текст постановления собственноручно писал нарком внутренних дел Г. Г. Ягода, а редактировал И. В. Сталин). Новый закон был предельно кратким, жестоким и беспощадным. Он устанавливал, что по делам о террористических актах следствие должно заканчиваться в срок не более 10 дней, а обвинительное заключение — вручаться за сутки до рассмотрения дела в суде; эти дела слушались без участия сторон (то есть без прокурора и адвоката), по ним не допускались ни кассационное обжалование, ни подача ходатайства о помиловании. Приговор к высшей мере наказания приводился в исполнение немедленно. Другими словами, подсудимый полностью отдавался в руки судей, которые и решали его судьбу. Судьи же целиком зависели от властей. Ошибку (если даже она и была бы признана) исправить было уже невозможно.