На следующий день после кончины Оттона Великого Оттон II приступил к правлению доставшейся ему в наследство Империей. Еще в Мемлебене, наутро после смерти отца, он принял от присутствовавших магнатов присягу на верность. Они, рассказывает Видукинд Корвейский, присягнули своему государю «как в первый раз», хотя тот уже обладал королевской и императорской коронами. Так Видукинд, низведший эти коронации до уровня простого предназначения на престол, отметил решающую роль избрания в форме принесения магнатами присяги на верность как непременного условия законного престолонаследия, тем самым еще раз выразив свое неприятие итальянской, имперской политики Оттонов. Вместе с тем истолкование спонтанной присяги случайного круга магнатов как формального акта возведения на трон «всем народом» («Итак, он снова всем народом был избран государем», — написал Видукинд) могло быть адресовано тем, кто сомневался в законности непосредственного наследования Оттоном II отцовской власти.

Преемственность власти на первых порах обеспечивалась и благодаря участию в государственных делах матери императора, вдовствующей императрицы Адельгейд, влияние которой особенно заметно в первые два года правления Оттона II. Другой саксонский хронист, Титмар Мерзебургский, не преминул отметить, что Оттон II как правитель формировался под влиянием своей пользовавшейся непререкаемым авторитетом матери, по инициативе которой принимались важные решения. Лишь по мере возмужания, накопления политического опыта он становился более самостоятельным.

Первые семь лет новый король Германии был поглощен борьбой за утверждение своей власти внутри страны и за Лотарингию. Прежде всего Оттону II пришлось столкнуться с оппозицией южногерманских герцогств Баварии и Швабии. Уже в начале 974 года при замещении первого освободившегося епископства он не сумел реализовать собственную волю, вынужденно согласившись на то, чтобы преемником Ульриха Аугсбургского, верного помощника Оттона I, стал Генрих, обязанный своей должностью совместным усилиям баварского и швабского герцогских дворов — герцога Баварии Генриха Сварливого, как его называли еще современники, и его матери Юдит из рода Луитпольдингов, с одной стороны, и герцога Швабии БурхардаШ и его супруги Хадвиг, сестры Генриха Сварливого и дочери Юдит — с другой. Епископ Генрих был сыном Бурхарда, маркграфа Баварской Восточной марки (с 996 года она станет называться Австрией), и братом Юдит и, следовательно, представителем обеих южногерманских герцогских династий. Однако вскоре Оттону II удалось в какой-то мере взять реванш: когда Хадвиг, вдова умершего бездетным БурхардаШ, решила посредством нового брака обеспечить наследование герцогства по собственному усмотрению, он назначил герцогом Швабии своего племянника Отто, сына Лиудольфа (сына Оттона I Великого от первого брака с Эдгит), перечеркнув тем самым планы Лиутпольдингов, нацеленные на более тесное взаимодействие южногерманских герцогств.

Главным возмутителем спокойствия выступал баварский герцог Генрих Сварливый — сын Генриха, младшего, «порфирородного» брата Оттона I. Генрих Сварливый, как и его отец, попытался захватить власть в государстве, завладев королевской короной (забегая вперед, скажу, что ему, как и его «порфирородному» отцу, не суждено было стать правителем Германии, зато его сын, тоже Генрих, спустя почти тридцать лет будет германским королем). При этом он нашел поддержку не только в Баварии, но и у князей Чехии и Польши. Однако Оттон II при помощи Бертольда Швайнфуртского, могущественного франконского графа, который был верным соратником еще Оттона I и остался сторонником его сына, сумел заключить под стражу Генриха Сварливого и его сообщников. Но тому спустя некоторое время удалось уйти из заточения и возобновить борьбу. Даже в Саксонии, в родном герцогстве императора, он нашел единомышленников. И все же Оттон II опять одержал верх, на сей раз лишив Генриха герцогской власти. Своему племяннику герцогу Швабии Отто он передал в 976 году также и Баварию, за исключением Каринтии и североитальянских марок. Каринтия сама получила статус герцогства и была пожалована Генриху, представителю искони правившего в Баварии рода Лиутпольдингов. С того времени североитальянские марки были связаны личной унией не с Баварией, а с Каринтией. Баварскую Восточную марку получил Бабенберг Лиудпольд (Леопольд), брат Бертольда Швайнфуртского, роду которого суждено было править Австрией более двух с половиной веков. Однако лишь после еще двух походов против чешского князя и подавления в 977 году восстания трех Генрихов — Генриха Сварливого, Генриха Каринтийского и епископа Генриха Аугсбургского — Оттон II стал хозяином положения в Германском королевстве. Итоговая черта была подведена на Пасху 978 года на съезде знати в Магдебурге. Болеслав II Чешский присягнул на верность императору, немецкие мятежники были изгнаны, а Каринтию получил Отто, внук Оттона I — сын его дочери Лиудгард и герцога Лотарингского Конрада Красного, героически сражавшегося в битве на реке Лех в августе 955 года и павшего там смертью храбрых. Вновь дом Оттонов утвердился в Южной Германии.

Уже в самом начале этой борьбы против оппозиции внутри государства Оттону II пришлось отражать натиск датского короля Харальда Синезубого, еще в 965 году обращенного в христианство и с тех пор поддерживавшего хорошие отношения с Оттоном Великим. Однако, как только тот умер, Харальд, вступив в союз с норвежским ярлом Хаконом, попытался захватить Нордальбингию — область в низовьях Эльбы. Поскольку Хакон вскоре разорвал союз с датским королем, Оттону II без особого труда удалось осенью 974 года самому перейти в наступление и закрепиться в Шлезвиге, подчинив эти земли немецкому господству и принудив Харальда к уплате дани.

К этому времени кризисная ситуация сложилась на западной границе государства Оттона II. Младшему брату Оттона Великого Бруно, архиепископу Кёльнскому и одновременно герцогу Лотарингскому («эрцгерцогу»), успешно проводившему западную политику Империи, не нашлось достойного преемника. Среди епископата Лотарингии наибольшую близость к императорскому двору сохранял Дитрих Мецский, сын сестры королевы Матильды (супруги Генриха Птицелова). Однако ни он, ни назначенный еще при Бруно герцог Лотарингским Фридрих не сумели занять господствующего положения во всей Лотарингии.

После смерти Оттона Великого ничто не сдерживало желания Каролингов обладать Лотарингией, их исконной областью. Новый характер отношений между Германией и Францией вскоре обнаружился в связи с событиями в Нижней Лотарингии. Регинар IV Геннегауский и его брат Ламберт, жившие на положении беженцев при французском королевском дворе в Лане, в 973 году собрали сторонников и отправились отвоевывать свое наследственное владение — Геннегау (ныне в составе Бельгии). Оттону II пришлось лично вмешаться, чтобы изгнать их из Лотарингии. Спустя три года Регинар и Ламберт повторили попытку, на сей раз прибегнув к помощи графов Вермандуа и брата французского короля Лотаря — принца Карла, не имевшего своего удела и мечтавшего завоеванием поправить собственные дела. Маркграф Готфрид, брат архиепископа Реймсского Адальберо, был осажден в Монсе и во время одной из вылазок тяжело ранен. Однако и на этот раз интервенты не добились успеха и отступили, очевидно, опасаясь прибытия войск императора. Во время этой кампании король Лотарь с войском находился на севере Франции, видимо, с намерением поддержать собственного брата. Оттон II решил изменить свою тактику. Он возвратил Регинару и Ламберту их наследственные владения, за исключением Монса, главного города Геннегау, который он оставил за верным Готфридом, и назначил в 977 году принца Карла, рассорившегося со своим братом Лотарем, герцогом Нижней Лотарингии. Резиденцией ему был определен Брюссель. И хотя в целом Карл оказался неспособным исполнять свою должность, его назначение оказалось изощренным тактическим ходом: один из последних отпрысков Каролингской династии стал вассалом германского короля, что весьма благоприятным образом сказывалось на репутации Оттона II.