Новгородцы, заключая договор с князем Юрием против иноплеменников, по всем вероятностям, имели в виду самого опасного из этих иноплеменников, князя литовского. И действительно, в следующем же 1405 году Витовт, пославши объявление войны в Новгород, сам пошел с войском в Псковскую волость, тогда как псковский посол жил еще в Литве, и псковичи, ничего не зная, не могли приготовиться: Витовт взял город Коложе и вывел 11000 пленных, мужчин, женщин и детей, не считая уже убитых; потом стоял два дня под другим городом, Вороначем, где литовцы накидали две лодки мертвых детей: такой гадости, говорит летописец, не бывало с тех пор, как Псков стал. Между тем псковичи послали в Новгород просить помощи, и новгородцы прислали к ним полки с тремя воеводами; но Витовт уже вышел из русских пределов. Псковичи вздумали отомстить ему походом в его владения и звали с собою новгородцев: «Пойдемте, господа, с нами на Литву мстить за кровь христианскую»; но воеводы новгородские побоялись затрагивать страшного литовского князя и отвечали псковичам: «Нас владыка не благословил идти на Литву, и Новгород нам не указал, а идем с вами на немцев». Псковичи рассердились, отправили новгородцев домой, а сами выступили в поход, повоевали Ржеву, в Великих Луках взяли стяг Коложский, бывший в плену у Литвы, и возвратились с добычею. Мало этого, в 1406 году псковичи подняли всю свою область и пошли к Полоцку, под которым стояли трое суток.
Но ни псковичи, ни новгородцы не надеялись одними собственными силами управиться с Витовтом и потому послали просить защиты у московского князя. Мы не знаем, какие были уговоры у Василия Дмитриевича с Витовтом относительно Смоленска, уже прежде принадлежавшего литовскому князю; нет ничего странного, что Москва действовала нерешительно в смоленском деле. Но нападение на псковские волости показывало ясно, что Витовт, ободренный вторичным взятием Смоленска, не хочет удовольствоваться этим одним примыслом, и московский князь не хотел ему уступать Пскова и Новгорода: Василий разорвал мир с тестем за псковскую обиду, отправил брата Петра в Новгород; потом, сложивши вместе с тверским князем крестное целование к Витовту, собрал полки и послал их в Литовскую землю: они приступали к Вязьме, Серпейску и Козельску, но безуспешно. Витовт за это велел перебить всех москвичей, находившихся в его владениях; но здесь уже отозвался разрыв с московским князем: до сих пор те из южных русинов и литвинов, которые были недовольны новым порядком вещей, начавшим утверждаться со времени соединения Литвы с Польшею, должны были сдерживать свое неудовольствие, ибо негде было искать помощи, кроме иноверного Ордена: сильный единоверный московский князь находился постоянно в союзе с Витовтом. Но когда этот союз переменился на вражду, то недовольным литовским открылось убежище в Москве: первый приехал из Литвы на службу к великому князю московскому князь Александр Нелюб, сын князя Ивана Ольгимантовича, и с ним много литвы и поляков; Василий Димитриевич принял его с любовью и дал ему в кормление Переяславль. С обеих сторон, и в Москве и в Литве, собирали большое войско, и осенью 1406 года московский князь выступил в поход и остановился на реке Плаве, близ Кропивны, куда пришли к нему на помощь полки тверские с четырьмя князьями и татарские от хана Шадибека. Литовский князь также вышел навстречу к зятю с сильным войском, поляками и жмудью, но, по обычаю, битвы между ними не было: князья начали пересылаться, заключили перемирие до следующего года и разошлись, причем татары, уходя, пограбили русские области.
В 1407 году литовцы начали неприятельские действия, взявши Одоев. Московский князь пошел опять с большим войском на Литовскую землю, взял и сжег город Дмитровец; но, встретившись с тестем у Вязьмы, опять заключил перемирие, и оба князя разошлись по домам. В следующем году отъехал из Литвы в Москву родной брат короля Ягайла, северский князь Свидригайло Олгердович, постоянный соперник Витовта, и соперник опасный, потому что пользовался привязанностию православного народонаселения в Южной Руси. Свидригайло приехал не один; с ним приехал владыка черниговский, шесть князей Юго-Западной Руси и множество бояр черниговских и северских. Московский князь не знал, чем изъявить свое радушие знаменитому выходцу: он дал Свидригайлу в кормление город Владимир со всеми волостями и пошлинами, селами и хлебами земляными и стоячими, также Переяславль (взятый, следовательно, у князя Нелюба), Юрьев Польский, Волок Ламский, Ржеву и половину Коломны. В июле приехал Свидригайло, в сентябре Василий с полками своими и татарскими уже стоял на границах, на берегу Угры, а на другом берегу этой реки стоял Витовт с Литвою, поляками, немцами и жмудью. Но и тут битвы не было: постоявши много дней друг против друга, князья заключили мир и разошлись.
Витовт был сдержан: после мира на Угре, во все остальное время княжения Василиева, он не обнаруживал больше неприятельских замыслов ни против Москвы, ни против Новгорода и Пскова. Во время войны между князьями московским и литовским новгородцы, по обычаю, не хотели быть ни за того, ни за другого: не отступали от Москвы и между тем держали у себя на пригородах князя Симеона-Лугвения Олгердовича, присяжника Ягайлова. Напрасно после того Ягайло и Витовт уговаривали новгородцев заключить тесный союз с Польшею и Литвою и воевать вместе с немцами; те не соглашались, причем высказалась уже главная причина, которая будет постоянно препятствовать тесному союзу Новгорода с Гедиминовичами: последние уже были латины, поганые. В 1411 году Симеон-Лугвений, видя, что мало пользы служить на пригородах новгородских, уехал в Литву, свел и наместников своих, и в начале следующего года Ягайло, Витовт и Лугвений разорвали всякий союз с новгородцами, прислали им взметные грамоты и велели сказать: «Что было вам взяться служить нам, разорвать мир с немцами, с нами стать заодно и закрепиться на обе стороны в запас; пригодился бы этот союз – хорошо; а не пригодился, так ничего бы дурного не было; мы к вам посылали бояр своих Немира и Зиновья Братошича спросить вас, стоите ли в прежнем договоре? И вы отвечали Немиру: „Не может Новгород исполнить королевского требования: как он с литовским князем мирен, так и с немцами мирен“. Мы князя Лугвения вывели от вас к себе, с немцами заключили мир вечный, и с венграми, и со всеми нашими соседями (граничниками), а вы слово свое забыли, да еще ваши люди нас бранили и бесчестили, погаными звали; кроме того, вы приняли нашего врага, сына смоленского князя». Лугвений велел прибавить: «Держали вы меня у себя хлебокормлением, а теперь старшим моим братьям, королю и Витовту, это не любо и мне не любо, потому что я с ними один человек, и с меня крестное целование долой». Войны, однако, у Новгорода с Литвою не было: в 1414 году новгородские послы ездили в Литву и заключили с Витовтом мир по старине; псковичи же заключили мир с литовским князем еще в 1409 году по старине, на псковской воле, по докончанию великого князя Василия Димитриевича; следовательно, при заключении мира на Угре московский князь выговорил у Витовта и мир со Псковом. Но в 1418 году Витовт писал к великому магистру Немецкого ордена, поднимая его против псковичей; магистр отговаривался тем, что у Ордена со Псковом заключен десятилетний мир; Витовт возражал, что Орден учрежден для постоянной борьбы с неверными и, следовательно, должен помогать ему, Витовту, как единоверному государю против неверных псковичей; представлял в пример собственное поведение: в прошлом году московский великий князь прислал звать его на немцев, но он не согласился. Неизвестно, потому ли Витовт хотел поднять Орден на псковичей, что сам не мог напасть на них без нарушения договора с Москвою; известно только то, что войны со Псковом не было.
Витовт был сдержан; но на северо-востоке не умели понять необходимости войны с литовским князем; видели вооружения сильные, но с первого взгляда бесполезные, видели странную борьбу, кончившуюся как будто ничем; сильно досадовали, что иноплеменнику Свидригайлу дано так много богатых волостей; всего больше боялись и ненавидели татар: от них опасались вредных замыслов, и вот действительно Эдигей страшно опустошил московские владения. «Эдигей, – по мнению летописца, – ссорил тестя с зятем, чтоб они тратили свои силы в борьбе и тем легче стали бы добычею татар; Эдигей посылал в Москву к великому князю Василию, побуждая его на Витовта, давая ему помощь свою, а князья и бояре и все думцы великокняжеские и вся Москва радовались Эдигеевой любви к Василию Дмитриевичу и говорили: „Вся Орда в воле великого князя, кого хочет воюет“. Вот и начали воевать Литву, водя с собою рать татарскую, а Литва воевала москвичей, крови лилось много. Татары обогащались добычею, а московские бояре, воеводы и вельможи веселились. Но старикам старым это не нравилось: не добра дума бояр наших, говорили они, что приводят на помощь к себе татар, нанимают их серебром и золотом; не оттого ли в старину Киеву и Чернигову приключились большие напасти и беды? И там братья воевали друг с другом, поднимая половцев на помощь; а половцы, рассмотревши весь наряд и всю крепость князей наших, потом их всех одолевали.