Во главе Прокуратуры Союза ССР Р. А. Руденко стоял дольше всех советских прокуроров — 27 лет. У него был классный чин действительного государственного советника юстиции, высокий авторитет среди руководителей партии и правительства. Там к его мнению всегда прислушивались.
После сталинских репрессий права и законные интересы граждан, о которых любили говорить во все времена, находились под пристальным вниманием Генерального прокурора СССР Р. А. Руденко. Когда речь шла о привлечении человека к уголовной ответственности, он был предельно требовательным. Он писал: «Всякое преступление во всех его обстоятельствах должно быть расследовано наиболее всесторонне и самым объективным образом, чтобы виновность лица была исчерпывающе доказана в результате самой тщательной проверки всех возможных версий совершенного преступления. Требования закона об оценке доказательств на основе всестороннего, полного, объективного расследования всех обстоятельств дела, в их совокупности, должны строго соблюдаться».
Конечно, оценивая сейчас те или иные высказывания Р. А. Руденко по вопросам соблюдения прав граждан, нельзя забывать, что он — человек своего времени — был все же проводником генеральной линии партии. Власти требовали преследования так называемых диссидентов, тунеядцев, и он это осуществлял, направляя против таких лиц всю мощь прокурорского аппарата. Судебные и внесудебные (административные) расправы с неугодными властям лицами происходили не без участия Генерального прокурора СССР. Об этом напоминают факты преследования А. Д. Сахарова и А. И. Солженицына, процессы Бродского, Синявского и Данелия, дело о событиях в Новочеркасске и многие другие.
Руденко всегда внимательно прислушивался к голосу партийных функционеров, чутко улавливая задачи, стоящие перед страной, своевременно вносил предложения по совершенствованию действующего законодательства. Ему приходилось решать множество проблем — больших и малых. В то же время это был исключительно осторожный политик, когда дело касалось его взаимоотношений с Правительством СССР или ЦК партии. Прежде чем войти к ним с каким-либо предложением, вопрос им долго изучался и согласовывался. Особенно это относилось к самому животрепещущему вопросу — материально-техническому обеспечению работников прокуратуры, которое долгое время было очень низким. Не проходило ни одного совещания, на котором прокуроры с мест не поднимали бы эти вопросы. Оклады помощников прокуроров и следователей составляли всего 100–120 рублей (после денежной реформы 1961 года), никаких доплат за классные чины или выслугу лет и вовсе не полагалось. В районных прокуратурах не было автомашин, не хватало пишущих машинок, канцелярских принадлежностей, помещения были тесными, расположенными, как правило, в старых зданиях. Все это создавало массу неудобств.
Писатель и юрист А. А. Безуглов вспоминал, что в 1960 году, работая в газете «Советская Россия», он опубликовал статью под названием «В защиту юриста», в которой впервые в печати обнажил проблему материального обеспечения прокуроров и следователей. Статья задела за живое — на нее пришло много откликов. В газету писали даже прокуроры областей. О них Безуглов доложил главному редактору М. Ф. Стрепухову, ранее работавшего в ЦК КПСС и хорошо знавшего секретаря ЦК Суслова. Редактор посоветовал молодому журналисту позвонить Генеральному прокурору СССР Р. А. Руденко и предложить совместно обобщить отклики на статью и войти с ходатайством в ЦК партии. Записку прокуратуры редактор обещал лично передать Суслову.
Роман Андреевич, когда ему позвонил Безуглов, сказал: «Да, это интересно. Да, это серьезно. Надо подумать». И попросил позвонить через неделю. После вторичного звонка Безуглова Руденко почти дословно повторил все ранее сказанное. Он так и не решился воспользоваться услугами главного редактора газеты, чтобы поставить перед ЦК партии вопрос об улучшении условий работы прокуроров. Конечно, об этой проблеме он не забывал, но и не выделял ее в число главных. Условия жизни и труда работников прокуратуры при Р. А. Руденко все же улучшались: появились машины, стали строить новые здания прокуратур, подросли оклады, ввели доплату за классные чины и т. п. Но делалось все постепенно, не торопясь, маленькими шажками.
При Романе Андреевиче Руденко прокурорский надзор наполнился новым содержанием. Важное значение приобрели вопросы укрепления законности и государственной дисциплины, усилилась борьба с правонарушениями и преступностью, при этом основной упор делался на предупреждение преступлений и искоренение причин, их порождающих, а также таких сопутствующих им социальных зол, как пьянство и наркомания. Мощный импульс получила борьба с преступностью несовершеннолетних и особенно с теми, кто подстрекает и вовлекает их в преступную деятельность. Более активно стала вестись борьба с местничеством, ведомственной ограниченностью, бюрократизмом и взяточничеством. Прокуратура повернулась лицом и к таким важнейшим проблемам, как охрана природы и окружающей среды. Расширились и укрепились связи прокуратуры с общественностью и средствами массовой информации, появились новые формы и методы пропаганды права. Прокуратура одной из первых заговорила о необходимости правового воспитания граждан и, прежде всего, молодого поколения.
Генеральному прокурору СССР пришлось по существу отстаивать процессуальную самостоятельность прокуроров и следователей, в буквальном смысле слова «биться» за следствие, когда в 1970-е годы всесильным тогда министром внутренних дел СССР Н. А. Щелоковым был поставлен вопрос об изъятии всего следствия из органов прокуратуры и передаче его в органы внутренних дел. По мере своих возможностей он противился и так называемому директивному праву, попыткам вмешательства в деятельность органов прокуратуры, что вызывало раздражение в административном отделе ЦК КПСС.
При Романе Андреевиче усилилась борьба и с таким злом, как сокрытие преступлений от учета и регистрации. В одном из своих приказов (1974 год) он потребовал от прокуроров «принципиально реагировать на каждый факт сокрытия преступлений от учета… давать острую оценку бездеятельности лиц, ответственных за организацию и осуществление прокурорского надзора за следствием и дознанием в органах внутренних дел».
Р. А. Руденко был непримирим, когда дело касалось очищения органов прокуратуры от нечистоплотных работников, лиц, злоупотребляющих своим высоким положением. В этом отношении характерно дело, возбужденное в начале 1960-х годов в отношении большой группы работников прокуратуры и министерства внутренних дел Киргизской ССР. На скамье подсудимых оказались прокуроры, занимавшие ответственные должности в аппарате республиканской прокуратуры и прокуратуре г. Фрунзе, которые совместно с оперативными работниками республиканского министерства внутренних дел за взятки освобождали преступников от заслуженного наказания, а иногда обирали невиновных граждан, необоснованно привлеченных к уголовной ответственности. Были установлены факты пьянок отдельных прокуроров, следователей и работников милиции с «преступным элементом», семейственности и панибратства во взаимоотношениях между работниками республиканского аппарата прокуратуры и милиции и их нижестоящих органов и т. п. По делу было привлечено к уголовной ответственности 30 человек, из них 17 работников прокуратуры и органов внутренних дел. Судебная коллегия по уголовным делам Верховного суда СССР, рассмотрев это дело, приговорила 7 человек к высшей мере наказания — расстрелу, а остальных — к длительным срокам лишения свободы и иным мерам.
Роман Андреевич многократно выступал с докладами и сообщениями на сессиях Верховного Совета СССР и заседаниях его Президиума, а также на многочисленных форумах юристов по самым разнообразным вопросам. Не чуждался он и судебной трибуны, поддержав государственное обвинение по ряду громких дел. В частности, в августе 1960 года выступил на заседании военной коллегии Верховного суда СССР, рассматривавшей в Москве, в Колонном зале Дома союзов дело американского летчика-шпиона Ф. Г. Пауэрса.