Возвращаясь в Германию, император забрал с собой из Рима вместе с бывшим папой Григорием VI также монаха Гильдебранда, в котором за внешней невзрачностью разглядел проницательный ум и железную волю. В 1048 г Григорий VI умер, и Гильдебранд выпросил у императора позволение вернуться в Клюни. Там он погрузился в аскетическую, созерцательную жизнь, проводя дни в молитвах и беседах со старцами. А между тем в Риме один за другим умирали папы, назначаемые Генрихом; ходили слухи, что Бенедикт ядом устраняет своих преемников, и немецкие епископы стали отклонять от себя опасную честь После долгих уговоров епископ тульский Бруно принял папский сан, но потребовал, чтобы назначение было одобрено римским клиром и народом, а в спутники ему дали Гильдебранда, чьи блестящие способности при дворе он успел оценить. В одеждах кающихся, во власяницах, с босыми ногами и посыпанными пеплом головами Бруно и Гильдебранд вошли в Рим под восторженные крики населения. Римляне были польщены их смирением и немедленно провозгласили Бруно папой под именем Льва IX (1049–1054). Гильдебранд занял при нем высокое положение — возведенный в сан иподьякона, он получил в управление обширные церковные имения. Часто он замещал папу, когда тот покидал Рим для разъездов по Европе.
Когда в 1054 г. Лев IX умер, Гильдебранду предложили занять папский престол, но он отказался в пользу епископа Гебгарда, самого могущественного лица в германской империи после Генриха. Новый папа получил имя Виктора II (1055–1057).
При нем Гильдебранд не играл руководящей роли, а был отправлен в качестве легата во Францию, где за симонию низложил многих епископов и отлучил от церкви за брачную жизнь многих священнослужителей. Во время этой поездки произошел случай, показавший его большое духовное могущество. Один епископ подкупил свидетелей и дерзко отрицал свою вину. Гильдебранд предложил ему произнести во всеуслышание. «Слава Отцу и Сыну и Святому Духу». На середине фразы епископ запнулся под испытующим взором Гильдебранда, пал ниц и раскаялся в своей вине. Сторонники преобразований усмотрели в этом случае чудо, а Гильдебранд приобрел славу человека богоугодного.
Тем временем умер Генрих III, а вскоре за ним и папа Виктор II. В Риме началась борьба партий, в результате которой папами последовательно были Стефан IX (1057–1058) и Бенедикт X (1058–1059). Последнего избрали против воли Гильдебранда. Он не признал выборы и предложил в папы флорентийского епископа Гебгарда.
Германское правительство поддержало эту кандидатуру, и Гебгард стал папой под именем Николая II (1059–1061). Затем последовало кровавое столкновение между партиями, в котором Гильдебранд впервые проявил свои способности государственного деятеля. Он начал борьбу с того, что предал Бенедикта и его сторонников анафеме. Зная слабость римлян к золоту, он потратил значительное количество денег на подкуп нужных людей и, возбудив в Риме междоусобицу, занял город. Для окончательной победы Гильдебранду нужны были войска, за которыми он отправился в Южную Италию к норманнам, до этого всегда враждовавших с Римом. Сняв наложенное на них прежними папами отлучение и признав вассальные права норманнских герцогов на княжество Капуанское, Апулию, Калабрию и Сицилию (все эти земли уже принадлежали им по праву завоевания), Гильдебранд получил необходимое ему войско. Окруженный со всех сторон, Бенедикт вынужден был сдаться. На специально созванном соборе, заливаясь горькими слезами, он принес покаяние и был низложен.
Когда, спустя короткое время, Николай умер, Гильдебранд, при поддержке норманнов, объявил папой Ансельма, епископа луккского, который взошел на престо под именем Александра II (1061–1073). Это избрание произошло вопреки желаниям матери малолетнего императора Генриха IV, Агнессы, заправлявшей тогда всеми делами. Агнесса не признала Александра II и назначила новым первосвященником Кадала, епископа пармского (это был антипапа Гонорий II). Вновь разгорелась смута, потекла кровь и полилось золото. Гильдебранд, верхом на коне, лично водил ратников на врага и сумел защитить своего ставленника. Вскоре в Германии произошел переворот, в результате которого к власти пришел епископ Аннон, а Агнесса была отстранена. Аннон из своекорыстных целей покровительствовал Гильдебранду и низложил Гонория. То была важная победа римской курии, освободившейся таким образом из-под многолетней опеки империи. Кроме норманнов (чье поведение всегда было двуличным) Гильдебранд нашел в Италии верную союзницу в лице тосканской маркграфини Беатрисы и ее дочери Матильды — умнейшей и одареннейшей женщины той эпохи.
Так неустанным, кропотливым трудом Гильдебранд подготовил почву для своего собственного возвышения. Папа Александр скончался 21 апреля 1073 г. Гильдебранд предвидел его смерть и заранее принял меры для того, чтобы самому занять папский престол. Чтобы обойти соперников, он воспользовался не совсем честными способами и содействием сомнительных личностей. Со стороны духовенства его кандидатуру поддержал (очевидно, не бескорыстно) кардинал Гуго Белый, славившийся, по словам хрониста, «косыми глазами и кривыми делами». Поддержку римских баронов Гильдебранд получил, подкупив их вождя Ценция, который также был готов на все ради денег. Во всем повиновался ему и блюститель императорских интересов в Италии епископ Григорий Верчельский, отлученный еще Львом X за преступную связь со своей родственницей. Главного своего соперника на папский престол пармского клирика Виберта Гильдебранд удалил из Рима, посодействовав ему в получении важного сана епископа равеннского. Всю ночь после смерти Александра люди Гильдебранда работали не покладая рук. К утру собранная ими громадная толпа клириков и горожан ворвалась в церковь Спасителя, где у тела Александра находился Гильдебранд, подхватила его и повлекла в собор Св. Петра. Тут он, как бы по единогласной воле римлян, был возведен на апостольский престол. Новый папа принял имя Григория VII, под которым и вошел в историю.
И светские и духовные правители Европы вскоре почувствовали тяжелую руку нового папы. Его взгляды и притязания отчасти были известны уже прежде. Теперь он постарался обозначить их со всей определенностью. В изданном Григорием «кратком своде прав и преимуществ римского первосвященника» о значение папской власти и ее месте в христианском мире говорилось буквально следующее: «Сам Царь славы поставил апостола Петра, а стало быть, и его наместника, главою царств мира. Папа так превосходит императора, как солнце превосходит луну, а потому власть апостольского трона много выше могущества королевского престола. Папа — наместник Божий, судом которого разбираются светские и духовные дела. Он связывает и разрешает, где хочет и кого хочет, так как даст Богу отчет за все прегрешения людские… Церковь всюду, где есть верующие во Христа, и все отдельные церкви входят как члены в состав общей матери, церкви римской: ей подчиняются короли, князья и все светские владетели, равно как архиепископы, епископы и аббаты. Как глава римской церкви папа может низлагать и духовных и светских сановников, недостойных, по его мнению, занимаемых ими санов… Римская церковь основана самим Богом. Один только римский первосвященник имеет право называться вселенским… Он один может употреблять императорские регалии. Он имеет право освобождать подданных от присяги лицам, запятнавшим себя несправедливостью. Все князья целуют ноги папы… Ему можно низлагать императоров… Никто не смеет порицать его приговоров. Он неподсуден никому, кроме Бога… Римская церковь никогда не ошибается… Нельзя считать католиком того, кто не согласен с римской церковью…» До Григория VII ни один папа с такой поразительной откровенностью не высказывал столь непомерных притязаний.
Первые удары новый папа направил на симонию и брачную жизнь духовенства, требуя их искоренения во всей церкви. На первом же созванном им Римском соборе 10 марта 1074 г. было объявлено о лишении мест и санов «виновных» пастырей, а мирянам под страхом вечных мук запрещалось посещать богослужения, совершаемые непокорными, «чтоб нежелающие исправиться из любви к Богу и уважения святости своего сана — исправились в силу народных порицаний и стыда перед прихожанами». Если борьба с симонией вызывала сочувствие, то требование безбрачия повсеместно встретило стойкое сопротивление. На Парижском соборе епископы, аббаты и клирики отказались повиноваться приказаниям папы — ввиду их непригодности и невыполнимости. То же было в Руане, Пуатье, на Винчестерском соборе в Англии и Эрфуртском и Майнцском в Германии. Папа вынужден был снова обратиться к совести мирян. Легаты апостольского трона и толпы бродячих монахов наводнили Европу. Они проповедовали, что благословение женатых священников равносильно проклятию, а совершаемые ими таинства ведут к вечной гибели. Страсти мирян, подогреваемые посланцами папы, больше не сдерживались должным уважением к священническому сану: клириков насильно разлучали с женами, лишали средств существования и калечили самым варварским образом. В некоторых местностях духовенство, тесно связанное со знатью, отвечало насилием на насилие, но постепенно Рим одолевал. В этом вопросе папа Григорий VII действовал сообразно религиозному настроению времени и миряне сочувствовали его начинаниям.