Постепенно Щегловитов приобретает опыт работы и повышается в чинах. 4 ноября 1887 года он стал надворным советником. В это время он не только добросовестно выполняет многообразные прокурорские обязанности, но и активно сотрудничает в журналах.

В начале 1890-х годов начинается возвышение И. Г. Щегловитова по ступеням прокурорской иерархии. Он последовательно, но довольно быстро меняет одну должность за другой, каждый раз занимая все более и более ответственные посты в Правительствующем сенате и центральном аппарате Министерства юстиции. В 1890 году Щегловитов состоит за обер-прокурорским столом в 1-м департаменте Правительствующего сената. В следующем году Н. А. Манассеин переводит его в аппарат министерства — заведующим уголовным отделом законодательного отделения департамента. Благодаря своим личным качествам — исключительной работоспособности, старательности и основательности во всем, за что бы он ни брался, а также блестящим способностям и великолепной теоретической подготовке, И. Г. Щегловитов сумел в 1893 году занять престижное место юрисконсульта в Министерстве юстиции.

В 1894 году Иван Григорьевич был назначен прокурором Петербургского окружного суда, а в следующем году — товарищем прокурора столичной судебной палаты. Здесь он получил чин статского советника и сумел проявить себя не только хорошим организатором работы, но и блестящим судебным оратором. В 1897 году он исполняет обязанности товарища обер-прокурора уголовного кассационного департамента Правительствующего сената, а в следующем году его утвердили в этой должности.

С 1900 по 1903 год И. Г. Щегловитов последовательно занимал должности вице-директора 1-го департамента Министерства юстиции и члена консультации при министерстве и выслужил чин действительного статского советника. Его познания в области уголовного права и судопроизводства были настолько обширны и основательны, что он по праву считался лучшим криминалистом России. Большую организаторскую работу он провел по подготовке конгресса криминалистов в Петербурге в 1902 году. С этой целью побывал в Париже, где внимательно ознакомился с деятельностью центрального союза криминалистов.

Современники отмечали, что в те годы И. Г. Щегловитов «чтил Судебные уставы и возражал против нажима на суд», «не чужд был и свободолюбивых речей2.

6 апреля 1903 года Иван Григорьевич занял высокий пост обер-прокурора уголовного кассационного департамента Правительствующего сената. Ему приходилось давать заключения по самым разнообразным делам, причем их содержательная сторона всегда отличалась высоким профессионализмом, основательностью и глубиной, что отмечал даже такой требовательный юрист, как А. Ф. Кони. Анатолию Федоровичу, например, очень понравилось заключение И. Г. Щегловитова по делу Семенова, в котором обер-прокурор убедительно разъяснил, что в уголовном процессе слова «виновен» и «совершил» — не синонимы.

Будучи обер-прокурором Правительствующего сената, И. Г. Щегловитов выполнил ряд поручений первостепенной важности, чем обратил на себя внимание высочайшего двора. Ему доверили выполнять прокурорские обязанности в Особом присутствии Правительствующего сената по «Делу о злодеянии, жертвой коего пал великий князь Сергей Александрович». Слушалось дело 5 апреля 1905 года. И. Г. Щегловитов сам поддерживал обвинение. Каляева приговорили к смертной казни через повешение.

Щегловитов одним из первых в России понял всю ценность судебной фотографии для расследования преступлений. Он дал не только научное обоснование судебной фотографии, но и многое сделал для ее практического применения, образовав судебно-фотографическую лабораторию при прокуроре Санкт-Петербургской судебной палаты. С 1903 года Иван Григорьевич, в качестве профессора, стал читать лекции в Императорском училище правоведения по теории и практике уголовного судопроизводства и об основных началах судоустройства. На их основе он впоследствии издал двухтомный «Курс русского судоустройства».

Вскоре после окончания дела Каляева И. Г. Щегловитов вернулся на службу в Министерство юстиции. Высочайшим указом от 22 апреля 1905 года его переводят на должность директора 1-го департамента.

Иван Григорьевич с восторгом воспринял известие о подписании государем манифеста от 17 октября 1905 года и искренне приветствовал начавшееся в России преобразование государственного аппарата, созыв I Государственной думы. Однако его отношения с высшими царскими сановниками складывались непросто. Появились явные недоброжелатели. Из них самый опасный и влиятельный — председатель Совета Министров С. Ю. Витте. Сергей Юльевич настолько невзлюбил Щегловитова, что однажды даже просил министра юстиции С. С. Манухина не приглашать того на заседания Совета Министров. По мнению Витте, новый директор департамента высказывал слишком «трафаретные красные идеи». Поэтому, когда 1 февраля 1906 года новый министр юстиции М. Г. Акимов назначил Ивана Григорьевича своим заместителем, Витте очень удивился и поинтересовался у министра, хорошо ли он знает его. Акимов ответил, что не только хорошо знает Щегловитова, но и ценит его как отличного работника.

В апреле 1906 года С. Ю. Витте был отправлен в отставку. Вслед за ним оставили свои посты почти все министры, в том числе и М. Г. Акимов. Место председателя Совета Министров занял И. Л. Горемыкин. 24 апреля 1906 года министром юстиции и генерал-прокурором в новом правительстве стал И. Г. Щегловитов.

Назначение И. Г. Щегловитова министром вызвало неоднозначную реакцию. У одних — сдержанную, у других — откровенно враждебную. Вот что писал впоследствии С. Ю. Витте: «Это — самое ужасное назначение из всех назначений министров после моего ухода, в течение этих последних лет и до настоящего времени. Щегловитов, можно сказать, уничтожил суд».

Новый министр юстиции и руководитель органов прокуратуры энергично принялся за вверенное ему дело. Подавление революции 1905 года оставило широкий кровавый след. Правительство принимало все более жесткие меры против любых революционных выступлений, а социалисты-революционеры, со своей стороны, усиливали террор против представителей власти. Новое правительство, как и 1-я Государственная дума, просуществовали лишь до июля 1906 года. Место председателя Совета Министров занял бывший саратовский губернатор, министр внутренних дел П. А. Столыпин. Он приступил к формированию своего правительства. Сразу же встал вопрос о новом министре юстиции и генерал-прокуроре. На эту должность он решил выдвинуть А. Ф. Кони, выдающегося юриста и общественного деятеля, человека безупречной репутации, но тот отказался.

Таким образом И. Г. Щегловитов сохранил за собой пост министра юстиции и генерал-прокурора в правительстве П. А. Столыпина и занимал его девять лет. Императора Николая II он явно устраивал. А. Ф. Кони вспоминал, как П. А. Столыпин в разговоре с ним упомянул, что государь «чрезвычайно хвалил Щегловитова, бывшего у него в тот день с докладом, и ссылался на то, что Щегловитов ему нравится легкостью, вразумительностью и точностью своего доклада, так что ему очень не хотелось бы расставаться с этим министром».

Первое время И. Г. Щегловитов еще продолжал высказываться за проведение демократических преобразований. Однако в середине 1906 года он уже «круто повернул вправо». Именно тогда появились военно-полевые суды. Конечно, идея их создания не принадлежала Щегловитову. Более того, он даже противился их созданию. Теперь на дознание, предварительное следствие, судебную процедуру и приведение приговора в исполнение отводилось всего двое суток. Такой «скорострельности» российская юстиция еще не знала. Военному министру А. Ф. Редигеру Николай II так обосновал свою волю: «Быстрое исполнение наказания будет больше устрашать».

Российские террористы вскоре дали свой ответ на решение о введении военно-полевых судов. В 1906–1908 годах они организовали настоящую охоту на высших должностных лиц империи и, в частности, на тех, кто служил в военном ведомстве или в системе Министерства юстиции. Особенно ощутимый урон понесло главное тюремное управление. Готовилось покушение и на И. Г. Щегловитова.