С самого начала работы в прокуратуре А. М. Рекунков остро ощутил отсутствие профессиональных знаний. Поэтому, почти сразу же после назначения, он поступил на трехмесячные курсы при Ростовской юридической школе, а в 1946 году — в Ростовский филиал Всесоюзного юридического заочного института, который окончил в 1952 году, сдав государственные экзамены на отлично.

28 декабря 1946 года А. М. Рекунков был переведен на должность помощника прокурора Целинского района. Он выступал в суде: по уголовным делам в качестве государственного обвинителя, по гражданским — давал заключения, готовил протесты на неправосудные приговоры, надзирал за расследованием дел, проверял обоснованность задержания подозреваемых в преступлениях лиц в камерах предварительного заключения, вел прием и рассматривал жалобы граждан и занимался другой работой.

В октябре 1947 года Александра Михайловича назначили на самостоятельную работу — прокурором небольшого Константиновского района Ростовской области. Характер его деятельности несколько изменился. Теперь надо было не только осуществлять надзорные функции, но и правильно организовать работу коллектива, самому принимать ответственные решения, давать санкции на арест людей. Как правило, он всегда лично допрашивал подозреваемых, перед тем как решить, отправлять их в тюрьму или нет. Много времени отнимала общенадзорная работа: проверки на предприятиях и в организациях, в колхозах и на машинно-тракторных станциях, выступления перед населением и в трудовых коллективах. Он участвовал в заседаниях исполкома райсовета, когда нужно — опротестовывал их незаконные решения. Много поручений стало и по партийной линии, ведь он был членом райкома партии. Так что ни одной свободной минуты не оставалось.

Прокурора Ростовской области Полозкова работа А. М. Рекункова вполне устраивала, и он зачислил его в резерв на выдвижение. Спустя пять лет, Рекунков возглавил прокуратуру более крупного района той же области, Азовского. Он все так же был решителен и инициативен, строг и требователен к нарушителям закона. Он не давал спуску никому и карал, невзирая на должности. Известно, что в советское время партия была «руководящей и направляющей» силой общества, а авторитет партийцев, входивших в бюро даже районного комитета — непререкаем. Они всегда и во всем диктовали свои условия. Редко кто из прокуроров отваживался вступать с ними в открытую борьбу. А Рекунков, став прокурором Азовского района, не побоялся возбудить против некоторых членов бюро райкома уголовное дело, обвиняя их в хищениях. На такой шаг не всегда отваживались даже опытные областные прокуроры. Началось давление, звонки в Прокуратуру Союза ССР, откуда приехала специальная бригада во главе с заместителем Генерального прокурора СССР Н. И. Хохловым. Представительная комиссия признала, что дело было возбуждено обоснованно. Однако до суда Рекунков это дело не довел. После смерти Сталина была объявлена широкая амнистия, и его пришлось прекратить. Но виновные все же понесли наказание — они были исключены из партии.

Горячность молодого прокурора иногда его подводила. В октябре 1953 года прокурор Ростовской области Иванов в своем приказе указал ему на то, что он «несерьезно относится к привлечению граждан к судебной ответственности». Поводом для такого «разноса» послужило прекращение уголовного дела в отношении двух возчиков угля, арестованных Рекунковым, а также оправдание судом троих граждан, обвинявшихся в хищениях. Однако такие случаи в практике А. М. Рекункова были крайне редки.

Несмотря на случавшиеся отдельные «проколы», Рекунков твердо руководил районной прокуратурой. Новый прокурор Ростовской области Иванов был о нем самого хорошего мнения, считая грамотным юристом и квалифицированным прокурором, дисциплинированным, инициативным и принципиальным. Поэтому не случайно Рекункова, набравшего солидный опыт работы в 1958 году назначили заместителем прокурора Брянской области. А уже через два года он возглавил эту прокуратуру. Распределяя обязанности, Александр Михайлович оставил за собой самые ответственные участки: руководство отелами общего надзора, по надзору за рассмотрением в суда х уголовных и гражданских дел, а также за исполнением законов по делам несовершеннолетних и в местах лишения свободы.

В 1966 году А. М. Рекункова перевели на должность прокурора Воронежской области. И здесь ему не раз приходилось проявлять характер. Во время одного из заседаний бюро обкома партии, на котором делал сообщение Рекунков, некоторые лица попытались оказать на него давление, требуя прекращения неприятного для руководства области уголовного дела. Когда Александр Михайлович исчерпал все доводы, приведенные в обоснование позиции следствия, но так и не смог убедить членов бюро, что дело надо расследовать до конца, то он встал, положил на стол перед первым секретарем обкома это дело и заявил, что если они так считают, то пусть ведут следствие по этому делу сами. Демарш произвел впечатление, и после этого случая никто уже не пытался так откровенно нажимать на прокурора области.

Прокурором Воронежской области А. М. Рекунков пробыл один конституционный срок, получив за работу орден Трудового Красного Знамени, а затем был переведен в центральный аппарат на должность первого заместителя прокурора республики. Одновременно он стал и членом коллегии Прокуратуры РСФСР. В аппарате он осуществлял контроль за работой отдела по надзору за рассмотрением в суда х уголовных дел, а также хозяйственного и финансового отделов и многое сделал для улучшения их деятельности. По наиболее сложным и актуальным делам он сам поддерживал государственное обвинение в Верховном Суде РСФСР. Часто выезжал в регионы с проверками и для оказания практической помощи. Не раз руководил семинарами городских и районных прокуроров, различными совещаниями. Он был членом редакционной коллегии журнала «Советская юстиция». В 1970 году указом Президиума Верховного Совета РСФСР ему было присвоено звание «Заслуженный юрист РСФСР», а через два года за заслуги в укреплении законности и правопорядка вручен второй орден Трудового Красного Знамени.

В 1976 году Генеральный прокурор Союза ССР Р. А. Руденко назначил Александра Михайловича своим первым заместителем. После смерти Р. А. Руденко указом Президиума Верховного Совета СССР от 9 февраля 1981 года А. М. Рекунков был назначен Генеральным Прокурором Союза ССР. В тот же день ему присвоен классный чин действительного государственного советника юстиции.

А. М. Рекункову пришлось руководить органами прокуратуры после принятия очень важного для нее закона «О прокуратуре СССР», который значительно расширил функции и полномочия прокуроров. Заканчивалось так называемое застойное время — время взяточничества и коррупции. После смерти Генерального секретаря ЦК КПСС Л. И. Брежнева появилась возможность возбудить и провести расследования по целому ряду дел, вызвавших большой общественный резонанс, например, таких как «краснодарское дело». Характерен для этого времени эпизод, рассказанный писателем А. А. Безугловым со слов бывшего начальника следственной части Прокуратуры Союза ССР Г. П. Каракозова. Когда заканчивалось это «краснодарское дело» и Каракозов докладывал о нем Генеральному прокурору СССР А. М. Рекункову, то Александр Михайлович сказал ему, что теперь пора заняться «ставропольским делом». Каракозов заявил, что по «краснодарскому делу» нужно кое-что доделать. Решение о возбуждении громкого дела по Ставропольскому краю тогда не состоялось. Спустя несколько месяцев, когда секретарем ЦК КПСС по сельскому хозяйству был избран М. С. Горбачев, бывший до этого первым секретарем Ставропольского крайкома партии, А. М. Рекунков, встретив Г. П. Каракозова сказал: «Ну, ты что же, как в воду смотрел», имея в виду, что тот не согласился возбуждать уголовное дело по Ставропольскому краю.

Генеральный прокурор СССР А. М. Рекунков провел сотни коллегий, совещаний, активов, координационных заседаний и других мероприятий, направленных на укрепление законности и правопорядка в стране, усиление прокурорского надзора во всех сферах деятельности. Им были подписаны многие основополагающие приказы и указания о коренной перестройке деятельности органов прокуратуры на всех участках, в том числе, о надзоре за исполнением законов при рассмотрении уголовных дел в суда х, о подборе, расстановке, профессиональной подготовке и воспитании кадров, о повышении роли общего надзора в обеспечении социалистической законности и другие. При нем было введено и «Обязательство работника советской прокуратуры», которое стало приниматься в торжественной обстановке, в условиях широкой гласности.