В апреле 1937 года Панкратьев был избран заместителем секретаря партийного комитета Прокуратуры СССР. В характеристике, подписанной секретарем парткома Горбулевым, отмечалось, что Панкратьев «принимал активное участие в работе прокуратуры по выкорчевыванию врагов народа и ликвидации последствий вредительства». Сам Михаил Иванович писал в автобиографии, что он «колебаний от линии партии не имел, взгляды разного рода оппозиции не разделял».
Первое время Панкратьев проживал у родственников жены, а в 1937 году, когда после ареста Тухачевского освободилась огромная квартира маршала (из 11 комнат), он занял в ней 2 комнаты. Жил он очень замкнуто, не любил ходить ни в театры, ни в гости.
20 мая 1938 года М. И. Панкратьев был назначен Прокурором РСФСР. На этом посту он находился в течение года, стал депутатом Верховного Совета РСФСР. Михаил Иванович ревностно выполнял все директивы партии и правительства, а также указания и распоряжения Прокурора Союза ССР Вышинского, который рекомендовал его на свое место, когда стал заместителем Председателя Совнаркома СССР. Правда, особого выбора у Вышинского и не было, так как после основательных чисток, кадры органов прокуратуры серьезно оскудели.
31 мая 1939 года М. И. Панкратьев занял кабинет Прокурора Союза ССР в здании на Пушкинской улице. На высоком посту он пробыл немногим более года. Жена Панкратьева, Ольга Сергеевна, рассказывала: «Михаила назначили на эту должность в страшное время. Шли аресты и расстрелы людей, занимавших высокие посты. Телефон в нашей квартире на Ленинском проспекте звонил, не умолкая, хоть совсем его срезай, да нельзя. По сто раз на дню: «Помогите с Михаилом Ивановичем встретиться, умоляю!» Мне было запрещено отвечать, и я молча вешала трубку. Все равно повлиять на мужа никак не могла. Бакинский прокурор, с которым когда-то жили в одном доме, был арестован. Его жена все время искала со мной встречи. Я жалела ее, рассказывала мужу, как она убивается, спрашивала, можно ли ей помочь. Михаил закрыл эту тему раз и навсегда. Говорить дома о его работе было запрещено… С какого-то времени Михаил стал просить, чтобы в доме был коньяк, чтоб, когда он придет с работы — бутылка стояла. Так всю ночь, бывало, за бутылкой и просидит. А когда я забывала поставить, сердился: «Ты пойми, Оля, мне хоть рюмочку, но обязательно надо выпить». Сколько санкций на арест и расстрел ему приходилось подписывать! Неимоверное количество! Он много подписывал, но и на пересмотр много отсылал. Не терпел никакой неясности. Когда его секретарь спрашивала, что делать с неподписанными доносами и жалобами, которые шли мешками, орал: «Рвать, не читая!» Анонимки приводили мужа в ярость, его трясло. А как еще прикажете реагировать, когда от твоей подписи зависят столько жизней? У него голова шла кругом».
За то непродолжительное время, в течение которого Панкратьев возглавлял Прокуратуру Союза ССР, он сумел провести целый ряд мероприятий, направленных на активизацию прокурорского надзора на всех важнейших участках работы. В отличие от своего предшественника А. Я. Вышинского, часто пускавшего пыль в глаза, делавшего ставку на раскручивание помпезных политических процессов, новый Прокурор Союза ССР занимался в основном будничной, повседневной работой органов прокуратуры. Поэтому его деятельность не была столь броской и эффектной, и с первых же дней стала вызывать нарекания у высшего руководства страны. Достаточно отметить, что вскоре после его назначения Комиссия партийного контроля при ЦК ВКП(б) проверила работу Прокуратуры СССР по рассмотрению жалоб, направленных из партийных органов, и нашла ее крайне запущенной. И хотя было совершенно очевидно, что все недостатки следовало бы отнести на счет бывшего Прокурора Союза ССР Вышинского, тем не менее Бюро КПК при ЦК ВКП(б) 8 июля 1939 года приняло решение указать Прокурору СССР Панкратьеву на то, что он «не принял до сих пор мер к ликвидации преступного отношения некоторых работников прокуратуры к жалобам и заявлениям» и проявил «медлительность в наведении порядка в работе аппарата Прокуратуры СССР». Подписал это решение председатель КПК при ЦК ВКП(б) Андреев.
С 26 по 29 января 1940 года в Прокуратуре Союза ССР состоялось первое Всесоюзное совещание прокуроров по общему надзору. В нем приняли участие начальники отделов общего надзора прокуратур союзных республик, 2 автономных республик, 17 областей, некоторые областные, городские и районные прокуроры, работники центральных аппаратов Прокуратуры Союза ССР и Прокуратуры РСФСР. Вскоре после этого, в марте и мае 1940 года М. И. Панкратьев провел еще ряд крупных мероприятий — всесоюзные совещания прокуроров морского и речного флота и прокуроров уголовно-судебных отделов и др.
Как прокурор Союза ССР Панкратьев не пользовался уважением и популярностью у своих коллег. Уже через несколько месяцев после его назначения на этот пост некоторые старейшие работники центрального аппарата обратились с письмом к секретарю ЦК ВКП(б) А. А. Жданову. Они писали о том, что постановление СНК СССР и ЦК ВКП(б) от 17 ноября 1938 года «Об арестах, прокурорском надзоре и ведении следствия» указало на «грубейшие искривления советских законов органами НКВД и обязало эти органы и прокуратуру не только прекратить эти преступления, но и исправить грубые нарушения законов, которые повлекли за собой массовое осуждение ни в чем неповинных, честных советских людей к разным мерам наказания, а зачастую и к расстрелам». И далее: «Эти люди — не единицы, а десятки и сотни тысяч — сидят в лагерях и ждут справедливого решения, недоумевают, за что они были арестованы и за что, по какому праву мерзавцы из банды Ежова издевались над ними, применяя средневековые пытки».
В письме напоминалось, что вместо мобилизации всех усилий на немедленное выправление «преступной линии мерзавца Ежова и его преступной клики» происходит обратный процесс и что пришедший на смену Вышинскому Панкратьев «не может обеспечить проведение в жизнь» решения СНК СССР и ЦК ВКП(б) от 17 ноября 1938 года «в силу своей неавторитетности в прокурорской среде, а особенно в глазах работников НКВД». Это наглядно проявлялось, по их мнению, в его участии в заседаниях Особого совещания, где «решающее значение и окончательное слово» принадлежит не представителю надзора — прокурору, а Берии и его окружению. «Присутствующий на этих совещаниях т. Панкратьев, — отмечалось в письме, — склоняет голову перед кандидатом в члены Политбюро т. Берией и молчаливо соглашается с явно неправильными решениями. Таким путем проваливаются на особых совещаниях правильные и законные протесты Прокуратуры СССР при прямом попустительстве Прокурора СССР т. Панкратьева… Подобная практика дезориентировала аппарат Прокуратуры СССР, тех честных прокуроров, которые непосредственно проверяют эти вопиющие дела, проводят за ними бессонные ночи и болеют за советских людей, невинно осужденных ежовской бандой».
Прокуроры просили секретаря ЦК ВКП(б) Жданова «взяться за это дело первостепенной важности и, если нет никакой возможности изменить преступную практику, прививаемую в стенах НКВД, переменить систему, возложить на прокуратуру пересмотр дел, неправильно решенных ежовской бандой, без участия в этих делах «авторитета» т. Берии, который вольно или невольно культивирует защиту «чести мундира» работников НКВД во что бы то ни стало. Подумайте только, — продолжали они, — что сотни тысяч людей, ни в чем неповинных, продолжают сидеть в тюрьмах и лагерях, а ведь прошел почти год со дня решения ЦК партии. Неужели это никого не беспокоит? Поговорите с прокурорами специальных прокуратур (железнодорожной, водной), и они Вам расскажут факты, от которых волосы встают дыбом, и покажут эти «дела», этот позор для Советской власти». Наряду с этим прокуроры просили «исправить грубейшую ошибку» с назначением Панкратьева. «Дайте нам высокоавторитетного руководителя, способного дать по рукам и Берии».
Конечно, это обращение ничего не изменило ни в положении самих прокуроров, ни в отношении к органам прокуратуры со стороны властей. Панкратьев продолжал оставаться на посту Прокурора Союза ССР, а НКВД по-прежнему вершил свои дела.