Так Роман Андреевич оказался на прокурорском Олимпе.
На этом же заседании Президиума ЦК было принято постановление «Об организации следствия по делу о преступных антипартийных и антигосударственных действиях Берии». Ведение следствия поручалось Генеральному прокурору СССР Р. А. Руденко. Ему предлагалось в суточный срок подобрать соответствующий следственный аппарат, доложив о его персональном составе Президиуму ЦК КПСС, и немедленно приступить, «с учетом данных на заседании Президиума ЦК указаний», к выявлению и расследованию «фактов враждебной антипартийной и антигосударственной деятельности Берии через его окружение (Кобулов Б., Кобулов А., Мешик, Саркисов, Гоглидзе, Шария и др.)».
Официально Р. А. Руденко был назначен Генеральным прокурором СССР 30 июня 1953 года и утвержден на сессии Верховного Совета СССР. Он сразу же приступил к выполнению возложенной на него ЦК партии миссии.
Старейший работник органов прокуратуры, прослуживший в ее рядах более 40 лет, государственный советник юстиции 2-го класса Сергей Васильевич Тюрин вспоминал: «1 июля 1953 года нас — аппарат Прокуратуры СССР — срочно собрали в Мраморном зале. В президиуме появился Р. А. Руденко, один, без всякого сопровождения, и объявил о том, что он назначен новым Генеральным прокурором СССР. Р. А. Руденко сразу же сообщил, что он уполномочен заявить: Политбюро ЦК КПСС претензий к прежнему Генеральному прокурору СССР Г. Н. Сафонову не имеет, его освобождение связано с тем, что сочтено неудобным оставление его в должности в связи с арестом Берии. Конечно, мы понимали, что после разоблачения Берии не могло не быть претензий к Генеральному прокурору СССР, и освобождение Сафонова произошло «не просто так». Но все же был и какой-то успокоительный жест в адрес Прокуратуры СССР. Им как бы подчеркивалось, что органы прокуратуры не отождествляются с бандой Берии и органами безопасности, творившими произвол».
Р. А. Руденко пришлось готовить сразу же несколько крупных процессов: над Берией, Абакумовым, Рюминым и другими лицами. Как и в сталинские времена, судьба указанных лиц решалась, конечно же, не в прокуратуре или суде, а в ЦК партии, где предварительно обсуждались и обвинительные заключения, и меры наказания. Но если дело Берии рассматривалось в порядке, установленном законом от 1 декабря 1934 года (без участия сторон), то Абакумова судили 14 декабря 1954 года в Доме офицеров Ленинградского военного округа (там же, где состоялся некогда процесс по так называемому «ленинградскому делу», основным из «авторов» которого и был Абакумов). Бывший Председатель Верховного суда СССР А. А. Волин рассказывал, что он, присутствуя на заседании Секретариата ЦК партии, рассматривавшего предварительно дело Абакумова, предлагал направить его для производства дополнительного расследования, так как в нем многое было еще неясным. Однако с ним не согласились. Генеральный прокурор СССР Р. А. Руденко лично поддерживал обвинение по этому делу. Абакумов виновным себя не признал, сказав, что его дело было сфабриковано Кобуловым и Рюминым (последний к этому времени по приговору суда был уже расстрелян). И тем не менее Абакумов был приговорен к расстрелу. Приговор привели в исполнение немедленно, не дав подсудимому даже его обжаловать. Спустя 40 лет военная коллегия Верховного суда СССР пересмотрела это дело и нашла в деяниях виновного только злоупотребление властью и превышение власти при наличии особо отягчающих обстоятельств, но никак не контрреволюционное преступление.
Роман Андреевич с первых же дней своей работы в Прокуратуре СССР стал расчищать авгиевы конюшни, в которые фактически превратились органы правопорядка, да и сама законность в стране. Беззаконию и произволу надо было поставить надежный заслон. Именно он начал осуществлять мероприятия по восстановлению в своих правах прокурорского надзора после долгих лет сталинской диктатуры и произвола. И не просто восстанавливать, а создавать незыблемые гарантии законности. В своих речах, выступлениях он всегда подчеркивал необходимость единства, обязательности советских законов для всех, недопустимость противопоставления законности и целесообразности, неразрывную связь законности с культурностью. Эти идеи он проводил в жизнь, конечно, в тех пределах, которые ставились политическим руководством страны.
Одновременно решались кадровые вопросы. Но самое главное — надо было принимать новое Положение о прокурорском надзоре, так как предыдущее (принятое 19 декабря 1933 года) давно уже устарело. К этому времени была принята Конституция СССР, целый ряд других законов, которые сделали систему органов прокуратуры более стройной. И создалось парадоксальное положение, когда прокуроры, осуществляющие надзор за законностью в стране, сами не имели законодательного документа, определяющего их права и обязанности по осуществлению этого надзора.
Проект нового Положения о прокурорском надзоре в СССР готовился при непосредственном участии Р. А. Руденко, который и докладывал его на всех заседаниях Президиума Верховного Совета СССР. Проект был предварительно одобрен ЦК КПСС, а затем тщательно изучен членами Президиума Верховного Совета СССР, его юридическим отделом и всеми президиумами верховных советов союзных республик, Верховным Судом СССР, Министерством юстиции СССР. Многие замечания и предложения были учтены. Но были и принципиальные расхождения. Например, председатель Верховного суда СССР А. А. Волин и министр юстиции СССР К. П. Горшенин предлагали исключить из проекта статью 30, устанавливающую право Генерального прокурора СССР опротестовывать постановление пленума Верховного суда СССР в Президиуме Верховного Совета СССР. На заседании Президиума Руденко доложил, что основной оппонент по этому вопросу Волин считает, что постановление пленума Верховного суда СССР не может быть опротестовано, так как это высшая судебная инстанция. «При всей авторитетности Верховного суда СССР, этой высшей судебной инстанции, мы не исключаем, что она может выносить отдельные ошибочные решения, — сказал Руденко. — Было бы неправильно считать, что раз это высшая судебная инстанция, то нет другой власти в стране, которая была бы вправе поправить эту инстанцию. У нас есть такая власть — есть Президиум Верховного Совета, который, безусловно, полномочен вносить коррективы, исправления и т. д.» Правда, Р. А. Руденко согласился с тем, что, может быть, нет необходимости опротестовывать решения пленума Верховного суда СССР, но настаивал на том, чтобы в Положении определить право Генерального прокурора СССР входить в Президиум Верховного Совета об отмене постановления пленума Верховного суда. «Мы не можем исходить из измышлений буржуазных теоретиков, которые ставят суд надо всем, как суд, ни от чего не зависящий». Он просил сохранить в Положении статью 30, хотя бы в измененной редакции.
А. А. Волин, которому было предоставлено слово сразу же после выступления Руденко, пояснил, почему Верховный суд СССР, Министерство юстиции СССР да и многие ученые-юристы возражают против предложенного проекта статьи 30 Положения о прокурорском надзоре в СССР, считая ее порочной, не соответствующей Конституции СССР. Он подчеркнул, что принятие статьи в такой редакции означало бы, что правосудие в государстве не кончается в судебных органах и что Президиум Верховного Совета СССР наделяется судебными функциями. «Установить такое положение, чтобы законодатель издавал законы, следил за их исполнением и сам их исполнял, нельзя, — сказал Волин. — Функция законодателя более высокая, нежели функция правосудия».
После долгих дебатов в Положении о прокурорском надзоре в СССР записали, что, если Генеральный прокурор СССР находит постановление пленума Верховного суда СССР не соответствующим закону, он обязан войти по этому вопросу с представлением в Президиум Верховного Совета СССР (статья 29). Положение о прокурорском надзоре в СССР 24 мая 1955 года было утверждено указом Президиума Верховного Совета СССР, а 28 декабря того же года — и сессией Верховного Совета СССР и стало законом. Оно действовало около 25 лет, вплоть до принятия Верховным Советом СССР Закона о прокуратуре СССР (30 ноября 1979 года).