За два дня Генрих предпринял три штурма, но все они потерпели неудачу. Император пришёл в ярость, сам готов, был идти на штурм. Потеряв всякую надежду овладеть крепостью штурмом, он приказал войску готовиться к длительной осаде, как это было под крепостями Мантуа и Минервиа.

Граф Вельф-старший, поднявшись на крепостную стену и увидев вдали императора, крикнул ему:

   — Это тебе, Рыжебородый, сидеть в осаде от неудач, кои грядут. — У Вельфа было основание так говорить, потому как его гарнизону не грозила смерть от голода или жажды. В крепости был запас провианта на два года и неисчерпаемый источник родниковой воды в колодцах.

И миновала весна, наступило и отступило лето, пришла осень, а осаждающие всё ещё стояли бивуаком под стенами крепости и, похоже, испытывали голод. Генрих потерял голову и распорядился отбирать хлеб и скот у мирного населения, потому как все драгоценности Евпраксии были проданы и деньги ушли на покупку провианта. Графы и бароны выкачали из своих имений всё, что можно было съесть, и теперь ворчали на императора за то, он что развязал безрассудную войну.

Той порой Матильда Тосканская вместе с мужем графом Вельфом-младшим собрала достаточное войско, чтобы разбить Генриха. Когда Генриху доложили, что войско Матильды приближается, он выслал навстречу ей маркграфов Деди и Людигера Удо просить у неё мира. Он обещал снять осаду с Монтевеглио и просил взаимно лишь о том, чтобы Матильда и кардиналы признали Климента III папой римским.

Графиня Матильда остановила своё войско и собрала кардиналов на конклав, спросила их, готовы ли они признать Климента папой римским. Они равнодушно сказали: нет. После совета с кардиналами Матильда отказалась от каких-либо переговоров с императором. Она потребовала от него снять осаду с Монтевеглио, освободить крепости Мантуа и Минервиа, а также покинуть пределы Италии. Матильда предупредила Генриха, что если он не выполнит её требований, то у неё достаточно сил, чтобы выгнать его. «И помни, государь, на тебя пойдут войной два твоих сына. Такова их воля», — предупредила в послании графиня Тосканская.

Генрих взбесился. «Как она смеет натравливать на меня сыновей?! » — кричал он. И приказал снять осаду с Монтевеглио, двинул своё голодное обозлённое войско на Каноссу. Эта крепость была главным опорным бастионом графини Матильды, но имела менее мощные едены, нежели те, о которые Генрих расшибал свой нос. Он это помнил и надеялся овладеть Каноссой с ходу. Воины везли с собой штурмовые лестницы, тараны для разрушения ворот и избыток ярости за неудачу под Монтевеглио.

Однако прозорливая Матильда Тосканская, как настоящий полководец, не допустила штурма Каноссы. Она опередила Генриха, вывела войско из крепости и заняла выгодные позиции. К её войску присоединилось тысячи полторы воинов короля Конрада. Он всё-таки был вынужден выступить против отца. Объединённое войско напало на воинов Генриха, когда они были на марте. Всё случилось так неожиданно, что войско Генриха, забыв о каком-либо сопротивлении, пустилось в бегство. И никакие угрозы Генриха и его военачальников не помогли остановить бегущих в панике воинов. Они бросали снаряжение, повозки, даже оружие, лишь бы убежать подальше от наступающей конной лавины, выкатившейся из-за холмов.

Вскоре на войско Генриха обрушилась новая беда. Граф Вельф-старший вывел своих воинов из Монтевеглио и налетел на отступающих с фланга. Паника в стане Генриха усилилась. Воины, которые успели добежать до реки По, бросали оружие, снимали доспехи и вплавь одолевали водную преграду. Но сотни их тонули в быстрых водах реки.

Уцелевшие около пятнадцати тысяч воинов, перебравшись за реку, пришли в себя и были готовы отразить преследование Матильды. Но Генрих уже не хотел воевать. В глубине души он надеялся на то, что графиня Матильда оставит его в покое и не двинет своё войско за водный рубеж. Однако отважная графиня и за рекой не оставила Генриха в покое. Во главе нескольких тысяч конных воинов она вместе со своим мужем графом Вельфом-младшим перешла на левый берег По и после ночного отдыха вновь двинула свои колонны на ослабевшее войско Генриха.

Облачённая в рыцарские доспехи, графиня Матильда сама шла впереди большого отряда рыцарей. Ей хотелось сойтись с императором на поле сечи. Однако Генрих видел преимущество войска графини над своим и счёл за лучшее вновь отступать. Матильде Тосканской оставалось лишь преследовать врага. И были освобождены крепости Минерва и Мантуа. Только здесь графиня остановила своё войско. Это случилось в ноябре, когда наступила пора затяжных дождей.

Однако Матильда не оставила в покое императора. Её люди следили за каждым его шагом. Она-то уж знала его коварство. К тому же у этой молодой женщины были основания оставаться непримиримой к императору. Она, как и графиня Гедвига, была в родстве по отцовской линии с покойной императрицей Бертой. Смерть Берты она вменяла в вину Генриху. И теперь, когда волевой и сильной графине Тосканской представилась возможность уничтожить Рыжебородого Сатира, она этой возможности не хотела упускать.

Отступление Генриха продолжалось. Но он почему-то уходил не в Верону, а отступал левым берегом По к крепости Павии. Во время отступления он понял, что если ему не будет оказана военная помощь князей Германии, то ему не избежать полного разгрома. Его гонцы помчались во все земли державы, лежащие севернее Альп. Но к кому бы они ни обращались с повелением императора, никто из сильных князей, герцогов и графов не отозвался на его державный призыв. Более того, к нему дошли вести о том, что князья Северной Германии уже собирают войско, дабы идти на помощь Матильде Тосканской.

Император Генрих оказался на огнедышащем вулкане. Папа римский Урбан II призвал на помощь себе отважных епископов. Они собрали «Божью рать» и освободили папский престол в Риме от Климента III. В это же время горожане Милана, находясь за спиной Генриха, вооружили тысячи молодых людей и дали им напутствие идти воевать за Конрада, истинного короля Италии.

В этой обстановке Генрих был вынужден искать помощи в других державах. И прежде всего подумал о соседней Венгрии, с королём которой Ладисловом был дружен. Однако встречу послов Генриха с королём Венгрии сорвал граф Вельф-старший. Он словно предвидел шаг и Генриха на восток и поставил на пути его послов заслон.

В Павии Генрих нашёл убежище с остатками войска в мощном замке графов Эппенштейнов. Осмотрев крепостные стены замка, он удовлетворённо сказал маркграфу Деди:

   — Здесь мы можем сидеть и три года, ежели позаботимся о запасах провианта. Время у нас ещё есть, и ты должен заняться этим, любезный.

   — Но ваше величество, у меня нет денег, — возразил Деди.

   — Я дам тебе последние драгоценности из нашего достояния, а ты найди купцов. Господи, спасибо дарам Адельгейды. Как бы мы без них...

Странным могло показаться одно: ни графиня Матильда, ни граф Вельф-старший не мешали императору делать запасы продуктов. А он скупал в округе всё, что могло пойти в пищу, и увозил в закрома и погреба замка.

Когда Вельф-старший спросил у Матильды:

   — Что это мы, любезная дочь, даём волю Рыжебородому набивать закрома и погреба зерном и копчениями? Пора и остановить его.

— Батюшка, пусть закупает сколько душа желает. Он в том замке будет обложен до конца дней своих, как медведь в берлоге.

Однако, когда продукты были запасены, Генрих перехитрил охотников. Он разобрал в крепости деревянные строения, на реке связал из брёвен плоты — всё в ночное время — и с полусотней преданных воинов и вельмож тёмной декабрьской ночью бежал из Павии по реке вниз, к Вероне. Через два дня он был уже близ крепости Мантуа, покинул плоты и пешком добрался до Вероны, где всё ещё находился его двор.

Узнав о побеге императора из Павии, графиня Матильда обозвала себя «глупой бабой» и, забыв об оставшихся в крепости воинах императора, повела своё войско к Вероне. Туда же она попросила идти тестя и короля Конрада, дабы они приняли участие в окружении и осаде Вероны.