Ввиду слабости Ливонского ордена, с одной стороны, а с другой — ввиду настоятельной необходимости войти в прямые торговые сношения с Западом и с тем вместе укрепить и охранить свои границы, московское государство должно было начать ливонскую войну. В поводах к ней недостатка не было: самым лучшим поводом служили очевидная враждебность ордена и нарушение существующих договоров. Так, в договоре 1463 года между Псковом и дерптским епископом встречается упоминание о дани, которую, по старому обычаю, епископ должен был платить великому князю; там же постановлено, что епископ и горожане должны оберегать русский конец и святые церкви. В договоре с гроссмейстером ордена Плеттенбергом (1503 года) условие о дани было подтверждено, но не исполнялось в течение 50 лет. Вопрос об этой дани не поднимался до 1554 года, когда в Москву прибыли ливонские послы ходатайствовать о продолжении перемирия. По перемирной грамоте, подписанной ливонскими послами, дерптский епископ обязался заплатить в три года недоимку Юрьевской (Дерптской) дани за 50 лет, очистить русские церкви, разграбленные протестантами, и не стеснять русской торговли[56]. Срочные три года прошли, а дань не была выплачена. В феврале 1557 года явились в Москву ливонские послы без денег, с просьбой о сложении дани. От имени царя, не пустившего их к себе и на глаза, им было объявлено, что если дань не будет заплачена, то государь будет, «се положа упование на Бога, сам искать на магистре и на всей ливонской земле». Царь запретил русским ездить в Ливонию и послал князя Шестунова строить город и гавань (корабельное пристанище) при устье реки Нарвы, ниже Ивангорода. Испуганные ливонцы снарядили новое посольство — просить хоть об уменьшении дани. Но переговоры не привели ни к чему: царь требовал, чтобы деньги были выплачены, а послы приехали без денег. На этом и прервались переговоры. Один из немецких летописцев рассказывает, что послов ливонских пред их отъездом пригласили к царскому столу и подали им пустые блюда.

В то время, как велись ещё переговоры, русская сорокатысячная рать стояла уже на границах Ливонии под начальством царя Шиг-Алея и воевод — князя Михаила Васильевича Глинского и царицына брата Даниила Романовича. В январе 1558 года эта рать вторглась в Ливонию и опустошила её на пространстве 200 вёрст. Оставляя Ливонию, начальники русской рати послали к магистру грамоту, в которой писали: «За ваше неисправление и клятвопреступление государь послал на вас войну: кровь пролилась от вас. Если же хотите пред государем исправиться и кровь унять, то присылайте к государю с челобитьем, и мы все станем за вас просить». Положение Ливонии было плачевное. Созван был в Вольмаре сейм, на котором было решено, что следует снова попробовать склонить царя на мир. Собрали кое-как деньги для уплаты дани и отправили послов в Москву. Царь согласился на перемирие и велел прекратить войну. Но жители города Нарвы, несмотря на остановку с русской стороны военных действий, продолжали обстреливать соседнюю русскую крепость Ивангород, только рекою Наровою отделяемую от города Нарвы. Этим война возобновилась. Жители Нарвы, сознавая, что не могут держаться, послали в Москву с предложением подданства. В Москве послы приняты были благосклонно. Но, получив подкрепление, Нарва снова отказала в покорности, и 11 мая взята была окончательно. Царь велел освятить город и построить в нём церкви. Послам ливонским, приехавшим в Москву во время Нарвского дела, царь велел объявить, что если ливонцы хотят мира, то магистр, архиепископ рижский и епископ дерптский должны сделать то же, что сделали цари Казанский, Астраханский и Шиг-Алей, — должны сами явиться пред государем с данью со всей земли Ливонской, ударить ему челом и впредь во всем исполнять его волю, а завоёванные города останутся за Москвою. Требовалась, стало быть, полная покорность Ливонии. Послы уехали, и война продолжалась. Некоторые города ливонские сдавались без сопротивления. В них оставлялись русские воеводы и строились церкви. Сильное сопротивление оказал Нейгаузен (Сыренск), обороняемый Георгием Икскулем, который сдался только тогда, когда его собственные солдаты грозили его повесить. Епископ Дерптский был разбит Шейном и Адашевым.

У Ливонии не было сил обороняться от русских. Ливонские чины собрались в Дерпте и вели между собою переговоры о том, у кого просить помощи. Выслушивались разные мнения. Посреди этих прений дерптский бургомистр Тилэ высказал самое разумное мнение: он призывал своих соотечественников к пожертвованию имуществом, говорил о необходимости единения, указывая на то, что откуда бы Ливония ни призвала себе защитника, защитник этот поработит её. Но Тилэ «проповедывал глухим». Результатом дерптских переговоров было начало разложения Ливонии: Эстляндия и остров Эзель обратились с просьбою о принятии их под защиту к королю датскому, архиепископ рижский желал покровительства Польши, а магистр — Швеции. Соседние государства обещали своё посредничество, что в следующем, 1559 году и было исполнено со стороны Польши, Швеции и Дании, хотя это ни к чему не повело.

Магистр Кеттлер послал от себя посла к царю, прося его унять войну. Иоанн отвечал ему: «Похощет магистр государева жалованья, и он бы сам был бити челом, а по его челобитью посмотря государь его пожалует». Между тем русское войско под начальством князя Петра Ивановича Шуйского подходило к Дерпту, где запёрся епископ с гражданами и наёмным войском. Осада Дерпта началась 8-го и продолжалась до 18 июля. Осаждённые сначала защищались мужественно; но когда магистр отказал им в помощи, они принуждены были сдаться. Московский воевода объявил царскую милость, если осаждённые сдадутся; в противном случае грозил, что не оставит в живых и малого ребёнка. Дерптцы, составив очень выгодные для себя условия, предложили их Шуйскому. Шуйский, образ действий которого вообще чрезвычайно хвалит ливонский летописец, принял эти условия и занял город. Льготы, данные царём покорившемуся городу, показывали ясно намерение его завоевать Ливонию и удержать за собою навсегда это завоевание. Скоро началось поселение в юрьевской земле детей боярских; а епископ и некоторые граждане дерптские были перевезены в Москву. Взятие Дерпта, «лучшего и приятнейшего города в стране после Риги и Ревеля», распространило ужас по всей Ливонии. Города начали сдаваться: к осени было завоёвано до 20 значительных городов. Шуйский обратился с требованием покорности к Ревелю, обещая, что в таком случае государь даст ему ещё большие льготы, чем те, которыми он пользовался прежде. Но Ревель не покорился.

Совершив такой блистательный поход, московские воеводы, по тогдашнему обычаю, отправились в Москву в сентябре, оставив гарнизоны в завоёванных городах. Пользуясь уходом главных сил, — магистр Кеттлер собрал более 10 000 войска, осадил Ринген (замок близ Дерпта) и взял его приступом. В январе 1559 года большое московское войско (130 000, по немецким известиям), под предводительством царевича Тохтамыша и князя Микулинского снова вступило в Ливонию, разбило немцев при Тирзене и без сопротивления уже целый месяц пустошило всю землю с одной стороны до моря, с другой — до границ Прусских и Литовских. Посредничество короля датского, но ещё более необходимость пригрозить Крыму заставили Иоанна дать Ливонии шестимесячное перемирие. Ливония возобновила переговоры с соседними державами, в особенности с Польшей и германским императором. Послано было посольство к Густаву Вазе с просьбой о ссуде, причём в обеспечение предлагались области. В Германии всё дело ограничилось заступничеством пред царём и ссудою в 100 000 гульденов. Переговоры с Польшей шли медленно: только 31 августа Кеттлер заключил договор, которым Ливония отдавалась в покровительство короля польского, за что ему отдаётся в виде залога полоса земли от Друи до Ашерадена и ещё несколько округов. 15 сентября архиепископ рижский также отдался под защиту польского короля. 26 сентября епископы эзельсий и курляндский отдали свои владения под покровительство Дании.