В начале 1920-х годов А. Я. Вышинский проявляет исключительную активность. Не оставляя службы в Наркомпроде, он несколько месяцев сотрудничает с только что организованной коллегией защитников и одновременно ведет научно-педагогическую деятельность в Московском институте народного хозяйства, где становится даже деканом экономического факультета. Непродолжительное время работает в Наркомтруде и главпрофобре. Но перелом в его карьере наступает в 1923 году. Именно тогда он выступил в качестве общественного обвинителя в одном из крупных процессов «церковников». Прокурорская трибуна пришлась по душе бывшему помощнику присяжного поверенного, и вскоре Вышинский становится прокурором уголовно-судебной коллегии Верховного суда РСФСР. Он часто поддерживал обвинение в суда х, оттачивая свое ораторское мастерство и в качестве прокурора выступал во многих крупных процессах 1920-х годов.
Будучи прокурором, А. Я. Вышинский активно занимался и советской наукой. Из-под его пера одна за другой выходили статьи и книги: «Очерки по истории коммунизма» (1924 и 1925 годы), «Суд и карательная политика Советской власти» (1925 год) и др.
В 1925 году А. Я. Вышинский покинул прокуратуру. Ученый совет Московского государственного университета избрал его своим ректором. К этому времени он был уже профессором. Наряду с выполнением обязанностей ректора, он читал также курс лекций по уголовному процессу на юридическом факультете. На основе лекций вскоре издал учебник «Курс уголовного процесса». В эти же годы его назначили членом комиссии законодательных предположений при Совнаркоме СССР.
В мае 1928 года Вышинского временно призвали в органы юстиции. Ему поручили председательствование в Специальном присутствии Верховного суда СССР по делу группы «вредителей» в угольной промышленности, известному больше как «шахтинское дело». В начале декабря 1930 года он возглавил группу судей на процессе так называемой «Промышленной партии».
11 мая 1931 года Андрей Януарьевич Вышинский был назначен Прокурором РСФСР, сменив на этом посту Н. В. Крыленко. Через десять дней он становится одновременно и заместителем Наркомюста РСФСР. Указанные должности Вышинский занимал немногим более двух лет, но этого вполне хватило на то, чтобы о нем заговорили как о новой восходящей звезде на советском юридическом небосклоне. И хотя он продолжал пребывать как бы в тени славы Крыленко, считавшегося первым судебным оратором Страны Советов, он сумел развить очень бурную деятельность. Ни одно важное событие в правовой жизни страны, будь то совещания, активы, судебные процессы, особенно по политическим делам, не обходились без его участия. К этому надо добавить его многочисленные выступления в печати, издание книг и брошюр по юриспруденции, лекции и доклады на разнообразных конференциях и симпозиумах и т. п. Он чутко прислушивался ко всем выступлениям И. В. Сталина, тщательно штудировал его статьи и тут же пытался использовать все идеи вождя в своей практической деятельности. А. Я. Вышинский одним из первых подхватил его тезис о том, что при определенных условиях «законы придется отложить в сторону».
В качестве прокурора республики А. Я. Вышинский принял участие в целом ряде крупных процессов, в том числе и по так называемым «делам о вредительстве». Деятельность его на посту прокурора республики, хотя и непродолжительная, была вознаграждена. Он получил орден Трудового Красного Знамени, которого он удостоился за «выдающуюся работу по разоблачению вредительских и контрреволюционных организаций».
В июне 1933 года после создания Прокуратуры Союза ССР А. Я. Вышинского назначили заместителем Прокурора СССР. Его служба в центральном аппарате продолжалась шесть лет. Прокуратура Союза ССР размещалась в старинном особняке, построенном еще в первой четверти XIX века (в 1824 году) и расположенном в глубине большого двора (некогда сада) по улице Большая Дмитровка, 15а (с 1937 года до начала 1990-х годов — Пушкинская улица).
С самого начала работы в Прокуратуре Союза ССР Вышинский стал активно использовать судебную трибуну для борьбы с «вредителями», «врагами народа» и «контрреволюционерами». Одно из первых дел, в котором он принял участие в ранге заместителя Прокурора Союза ССР, — о некомплектной отгрузке комбайнов, — рассматривалось уголовно-судебной коллегией Верховного суда СССР с 16 по 22 августа 1933 года. Суду были преданы 11 крупных хозяйственных руководителей. Вышинский в своей речи представил это дело, как «отражение еще не оконченной в стране классовой борьбы», а подсудимых выставил проводниками «капиталистической партизанщины» и «враждебных советскому социалистическому строительству настроений, традиций, привычек, взглядов, методов работы», изображая их действия как «прямой заговор группы государственных служащих против советского закона».
3 марта 1935 года постановлением ЦИК СССР А. Я. Вышинский был назначен Прокурором Союза ССР. Он услужливо и безропотно стал выполнять роль «главного инквизитора» вождя. Его меньшевистское прошлое было напрочь предано забвению. За те четыре года, что Вышинский пробыл в должности Прокурора Союза ССР, он сумел полностью завладеть всеми ключевыми позициями юридической науки и практики. Бывший Прокурор РСФСР А. А. Волин, хорошо знавший Вышинского, в беседе с авторами говорил, что в то время «всюду был слышен голос только одного человека — Вышинского». Приказы и указания Прокурора Союза ССР, и ранее не отличавшиеся мягкостью, звучали теперь более твердо и жестко, особенно тогда, когда речь шла о выполнении всякого рода постановлений партии и правительства. Вышинский требовал от своих подчиненных возбуждения уголовных дел и предания суду должностных лиц и граждан за самые разнообразные «преступления»: за сдачу на убой «здорового стельного скота» и утайку скота от учета, за невыполнение планов по мясо- и молокопоставкам и кастрацию племенного скота, за антисанитарное состояние хлебопекарен и сверхурочные работы и т. п.
С первых же дней вступления в новую должность А. Я. Вышинский развил исключительную активность — поездки, совещания, встречи с активом, выступления с докладами следовали одно за другим. В марте 1935 года он побывал в Киеве, где лично ознакомился с работой прокуратуры Украинской ССР. В апреле — заслушал доклад Прокурора РСФСР В. А. Антонова-Овсеенко о работе органов прокуратуры по борьбе с выпуском недоброкачественной продукции. В августе он выступил с большим докладом на собрании президиума Комакадемии, Института советского строительства и права и Института уголовной политики по вопросу охраны социалистической собственности.
В марте 1936 года Вышинский выступил с речью по вопросам судебной политики и судебной работы на пленуме Верховного суда СССР (доклады сделали Председатель Верховного суда СССР Винокуров и директор Института уголовной политики Шляпочников). Прокурор Союза ССР подверг сокрушительной критике доклад Винокурова, назвав его «статистическо-бухгалтерским», а не политическим отчетом, так как в нем, по его мнению, не были «выделены узловые вопросы судебной политики», нет «руководящей нити», нет «основного стержня». Выступление председателя коллегии Верховного суда СССР Антонова-Саратовского в прениях он назвал «странным», а содержание его речи — «трудноуловимым». Не понравились ему также доклад Шляпочникова, который «ничего не дал», и выступление Крыленко.
20 июля 1937 года за «заслуги» в деле укрепления «революционной законности» А. Я. Вышинский был награжден орденом Ленина.
В 1936 и 1937 годах Прокуратура СССР организовала ряд больших процессов по фактам выявленных проверками грубейших и массовых нарушений законности на местах. Это были так называемые лепельский и ширяевский процессы (дела расследовались Прокуратурой СССР), чечельницкий процесс (занималась Прокуратура Украинской ССР) и др. Особенно громким был «ширяевский» процесс. Это дело было возбуждено в отношении руководителей Ширяевского района Одесской области. Обвиняемыми по нему проходили председатели райисполкома и сельсоветов, секретарь районного парткома, заведующие отделами исполкома и даже районный прокурор. Согласно обвинительному заключению нарушения законов в районе носили массовый характер и выражались в прямом издевательстве над людьми. Выездная сессия Верховного суда Украинской ССР осудила всех виновных по этому делу к лишению свободы сроком от 3 до 10 лет, в том числе и прокурора района.