Теперь оставалось одно — как можно быстрее отходить на Красный. В Смоленске было потеряно несколько драгоценных дней, которые дали возможность русским войскам выйти на фланги французов.
14 ноября наполеоновская армия снова двинулась на запад. Император приказал продолжать отход одной колонной, пятью эшелонами, удаленными друг от друга на суточный переход. Вследствие недостатка кавалерии ни о каком выдвижении боковых арьергардов не могло быть и речи. Ее хватало лишь для авангарда. Впереди шел 5-й корпус Зайрнчека, заменившего заболевшего Понятовского, за ним двигался корпус Жюно, затем шла гвардия и вслед за ней остальные войска. В арьергарде оставался корпус Нея, который вступил в разграбленный Смоленск после того, как из него ушла вся армия. Вопреки приказу императора Ней вынужден был задержаться в Смоленске, чтобы хоть в какой-то мере обеспечить свой корпус продовольствием и боеприпасами для дальнейшего марша.
Тем временем морозы усиливались. Уже при выходе из Смоленска люди так ослабели, что, упав, не могли подняться и замерзали. Вся дорога была устлана трупами. Французам пришлось бросить большую часть обоза, артиллерии и снаряжения; целые эскадроны должны были спешиться, так как конский падеж все усиливался. Всего в строю было не более 40 000 человек и несколько тысяч отставших, которые просто брели следом за армией.
К вечеру 15 ноября гвардия, корпус Жюно и кавалерия Мюрата вышли к Красному, но здесь выяснилось, что город занят русским отрядом Ожаровского, захватившего в плен полуторатысячный гарнизон. Наполеон приказал выбить русских из города и остановился, чтобы дать время подойти другим корпусам. На другой день началось одно из самых крупных сражений 1812 года.
Бои под Красным лишили французскую армию лучших сил. Они сыграли, пожалуй, решающую роль в крушении всех планов, которые строил император.
В то время, когда Наполеон еще находился в Смоленске, Кутузов деятельно готовился к нанесению нового удара. В его штабе опасались, что французский император из Смоленска начнет отступать не по одному, а по двум или даже трем направлениям, что дало бы ему возможность ускорить движение и соединиться с войсками Виктора и Удино. В таком случае создавалась бы угроза армии Витгенштейна. Кутузов не исключал также, что император может направиться южнее Смоленска на соединение со своим правым флангом. Обстановка была изменчива и требовала пристального наблюдения за противником. Для получения необходимых данных Кутузов выдвинул 4-й пехотный и 4-й кавалерийский корпуса вперед, южнее Смоленска. Получив сообщение Милорадовича, что армия Наполеона движется по дороге на Оршу, русский главнокомандующий счел, что какая-то часть сил противника уже прошла Красный, и решил отрезать часть французских сил на Красненской дороге. Он приказал Милорадовичу следовать к деревне Ржавка и в помощь ему выслал обе кирасирские дивизии Голицына.
Кутузов почти не сомневался, что гвардия Наполеона уже прошла Красный и находится на марше к Орше, а остальные войска двигаются на Витебск. Для выяснения обстановки он приказал Ожаровскому и Давыдову передвинуться в этот район и произвести разведку боем. 14 ноября отряд Ожаровского занял с боем Красный. Однако вскоре к городу подошла французская гвардия и выбила русских. Ожаровский вынужден был отойти, но его сообщение о сосредоточении в Красном наполеоновской гвардии давало основание заключить, что Наполеон держал в кулаке все свои силы и не разделял их на две колонны. Но эти данные Кутузов получил только к вечеру 16 ноября. Не прояснили обстановку и боевые действия Милорадовича, который 15-го числа вышел к Успенской дороге и развернул свои силы вдоль нее. Милорадович располагал 18 000 человек при 100 орудиях.
Во второй половине дня 16 ноября к расположению авангарда Милорадовича у села Мерлино подошел 4-й французский корпус вице-короля. Командир 4-й дивизии русских Евгений Вюртембургский выдвинул на дорогу 44-орудийную батарею и начал расстрел наступающих французов прямо в лоб. Вскоре к этой дивизии присоединись 12-я и 26-я дивизии 7-го корпуса. В результате объединенных действий головная колонна французского корпуса (а точнее, итальянского) была рассеяна. Оставалось сделать немного для его окончательного поражения. Однако прибывший к месту боя Милорадович распорядился иначе: он отвел все три дивизии с дороги и поставил их параллельно тракту, оставив на нем для прикрытия артиллерии два пехотных полка. Когда к месту боя прибыли остальные дивизии корпуса Богарне, то Милорадович предложил вице-королю капитуляцию. Богарне решил пробиваться: он бросил в атаку остатки 14-й дивизии Брусье. Эта колонна была рассеяна огнем артиллерии. На помощь ей Богарне направил 13-ю дивизию Орнано, но русская кавалерия окружила ее и принудила сдаться. Вслед за 13-й дивизией в бой ринулась только что подошедшая 15-я дивизия и другие части. Для атаки вице-король построил войска в три колонны. Левая колонна была отрезана и сдалась русским, средняя — рассеяна огнем артиллерии, и только часть правой колонны прорвалась в Красный. Богарне удалось спасти лишь небольшую часть своего корпуса. Вся артиллерия, все обозы и более 2000 солдат оказались захваченными русскими войсками.
Поражение корпуса Богарне заставило Наполеона повернуть назад гвардию и отправить в Оршу лишь корпуса Жюно и Понятовского.
Успех Милорадовича дал Кутузову основание для атаки на другой день войска противника. В главную колонну под командованием Тормасова вошли 5-й, 6-й и 8-й пехотные корпуса, авангард Розена, 1-я кирасирская дивизия и отряд Ожаровского — всего 23 000 человек и 120 орудий. Во вторую колонну, которой командовал Голицын, были отряжены 3-й пехотный корпус, 2-я кирасирская дивизия и Черниговский полк. Главная колонна получила задачу совершить обходной маневр через Сидоровичи, Сорокино, Доброе и перехватить Смоленскую дорогу за Красным. Колонна Голицына должна была выступить на полтора часа позднее к деревне Уварово, чтобы нанести удар противнику во фланг. Авангарду Милорадовича в составе двух пехотных и двух кавалерийских корпусов поручалось нанести удар в тыл. Другими словами, предполагалась осуществить концентрический удар по двум-трем корпусам противника. Однако эта диспозиция не была выполнена.
Когда колонна Тормасова двинулась в обходной путь, а колонна Голицына выдвинулась к Уварово, на Смоленской дороге показался корпус Даву — 7500 человек при 15 орудиях. Артиллерия 2-го русского корпуса начала обстрел противника, а пехота уже готова была перейти в атаку. Но Милорадович, основываясь на полученной директиве от Кутузова, приказал пропустить части Даву в Красный. Дело в том, что фельдмаршал дал возможность противнику продвинуться к Красному, чтобы затем зажать его между двух огней и принудить к капитуляции. В свою очередь, когда Наполеон услышал канонаду за Красным, то решил отвлечь на себя внимание русских, чтобы смог прорваться Даву. Французская гвардия обрушилась на войска колонны Голицына в деревне Уварово. Сначала французам удалось выбить русских, но далее 3-й пехотный корпус остановил атаку противника. Превосходящие силы русской артиллерии подавили огонь французских пушек.
Появление гвардии Наполеона у Уварово для Кутузова стало полной неожиданностью. Он предполагал, что Понятовский, Жюно и сам Наполеон ушли вперед, и ему придется иметь дело только с последними тремя корпусами. Теперь он предположил обратное, что все войска Наполеона находятся здесь. Не надеясь на сравнительно небольшие силы, состоявшие под командованием Голицына, Кутузов дал приказ Тормасову остановить обходное движение и срочно идти на помощь Голицыну.
Между тем Наполеон не желал развивать сражение и по мере движения войск Даву к Красному направлял их дальше по дороге на Оршу. Когда большая часть корпуса Даву уже прошла Красный, император получил сведения о движении обходного отряда Тормасова ему в тыл. В то же время активизировали свои действия войска Голицына. Опасаясь окружения, Наполеон решил пожертвовать корпусом Нея и отойти. Теперь Кутузов приказал Тормасову как можно быстрее двигаться к селу Доброе, но догнать французов было уже трудно. Правда, Розену и Ожаровскому удалось нанести сильный удар по частям, замыкающим колонну корпуса Даву, в результате которого перестала существовать дивизия Дитерихса. Но Наполеон ушел, за что Кутузова потом много критиковали, поскольку «каждый мнит себя стратегом, видя бой со стороны». Разбирая войну 1812 года, Клаузевиц по похожему поводу отмечал: «...главное — это трудность выполнения. На войне все просто, но самое простое в высшей степени трудно. Орудие войны походит на машину с огромным трением... это трение встречается повсюду и вступает в контакт с массой случайностей. Кроме того, война представляет собой деятельность в противодействующей среде. Опасность и напряжение — вот те стихии, в которых на войне действует разум. Об этих стихиях ничего не знают кабинетные работники. Отсюда получается, что всегда не доходишь до той черты, которую себе наметил; даже для того, чтобы оказаться не ниже уровня посредственности, требуется недюжинная сила».