Значение победы на Мархекском поле было очень велико: она заложила основу могущества Габсбургской династии и тем самым на несколько веков определила судьбу всей Германии. Рудольф ловко и твердо воспользовался своим успехом. Он двинулся в Моравию и объявил, что оставляет её под своим управлением как залог уплаты военных издержек, но возвратит её Венцелю, сыну Оттоакра, как только тот достигнет совершеннолетия. В Богемии он сделал регентом Оттона, маркграфа Бранденбургского. В 1280 г. тот был изгнан за своё буйство, и Богемия тоже перешла под управление Рудольфа. В 1283 г. король передал страну подросшему Венцелю, но постановил, что маркграфство Моравское должно считаться особым от Богемии государством, хотя и находящимся под управлением чешского короля. В результате всех этих мер Чехия оказалась ослабленной и более не представляла угрозы для Германии. Все отобранные у Оттоакра немецкие земли, кроме Каринтии, Рудольф сохранил за собой, назначив имперским наместником в них своего сына Альберта. В 1283 г. Австрия, Штирия и Крайна были объявлены его наследственными владениями.

Достигнув своей цели в Австрии, Рудольф занялся приведением в порядок расстроенных дел немецкого государства и, прежде всего, стал заботиться о прекращении междоусобий и разбоев. За годы безначалия в Германии сложилось целое сословие рыцарей, занимавшихся грабежом беззащитного населения. Они строили свои замки на скалах или в других труднодоступных местах и отсюда нападали на поселян и купцов. Король начал против них войну, прежде всего, в Швабии и Тюрингии, где его власть была более прочной. Он сам разъезжал по Германии и разрушал разбойничьи замки. Например, в Тюрингии при нём было взято 66 таких замков и повешено 29 знатных разбойников. Но так энергично король мог действовать лишь на ограниченной территории. Все его попытки восстановить власть немецкого короля в бывшем королевстве Бургундском не имели успеха. Эта страна с романским населением все более попадала под влияние французской короны. Более успешны были его усилия в северной Германии. В 1283 г. Рудольфу удалось прекратить здесь усобные войны, примирить тамошних князей (герцога Саксонского, князя Померанского, герцога Мекленбургского, графа Шверинского и других) и заключить мир на 10 лет. Так же усиленно хлопотал Рудольф об установлении мира в других областях. На эрфуртском съезде 1288 г. было принято решение о разделении Германии на округа. В каждом таком округе могущественный князь назначался начальником войск, собираемых для восстановления тишины.