Вечером 16 августа Ней сделал еще одну попытку штурма, но неудачно. Таким образом, «се французские атаки в этот день были отбиты в первую очередь огнем артиллерии. Обстрел крепости из 150 французских орудий также не дал результатов. Позже Раевский отмечал, что Смоленск ему удалось отстоять только благодаря «слабости атак Наполеона, который не воспользовался случаем решить участь русской армии и всей кампании».
К вечеру этого же дня к городу подошла 2-я армия, войска 1-й армии прибыли поздно ночью. Активные действия 7-го корпуса дали возможность всем русским войскам собраться вместе. Правда, одновременно сконцентрировались и все французские силы. Теперь 183 000 французов противостояли 110 000 русских. Есть основания предполагать, что Наполеон снова хотел дать возможность русским войскам собраться вместе, чтобы разбить их сразу в решительном сражении.
Сражения ждали и желали и в русской армии. Особенно настаивал на этом Багратион, который писал Аракчееву: «Я клянусь вам моей честью, что Наполеон в таком мешке, как никогда, и он мог бы потерять половину армии, но не взять Смоленск. Войска наши так дрались и так дерутся, как никогда. Я удерживал их с 15 тысячами более 35 часов и бил их; но он (Барклай-де-Толли. — В.Б.) не хотел оставаться и 14 часов».
Барклай-де-Толли действительно не хотел рисковать армией и дал приказ об отступлении по Московской дороге. Из Смоленска, по его мнению, нужно было уходить, промедление грозило гибелью. Барклай-де-Толли знал, что скажут о нем, но не видел другого выхода. В первую очередь, должна была выступать 2-я армия, а за ней 1-я — через Крохоткино, Горбуново и Лубино. Получив этот приказ, Багратион сообщил Барклаю-де-Толли, что намерен завтра же вступить в Дорогобуж, где постарается занять выгодную позицию и не упустить ничего, «чтобы дать неприятелю отпор и уничтожить все его покушения на дорогу Московскую». При этом Багратион просил Барклая-де-Толли «не отступать от Смоленска и всеми силами удерживать вашу позицию».
В ночь с 16 на 17 августа корпус Раевского был сменен 6-м корпусом Дохтурова и 3-й дивизией Коновницына. Кроме того, в Смоленске осталась 27-я дивизия Неверовского, или то, что осталось от нее, и один егерский полк 12-й дивизии. На правом берегу Днепра для обстрела подступов к городу с флангов были развернуты две группы батарей под командой генерала Кутайсова. Всего в Смоленске оставалось 20 000 русских войск при 180 орудиях против всех французских сил, имевших 300 орудий. Наполеон ночью расположил свои силы для штурма: на правом фланге действовали Мюрат и Понятовский, в центре — Даву, на левом фланге — Ней. На рассвете 17 августа французы овладели окраинами предместий, но русские выбили их оттуда. До середины дня продолжались отдельные стычки и артиллерийская перестрелка. Но когда Наполеону доложили о начавшемся движении русских войск по Московской дороге, он активизировал свои действия. Сначала император поручил корпусу Жюно броситься наперерез русским войскам, но без переправочных средств это сделать не удалось. Попытка найти брод через Днепр не дала результатов. Оставалось одно — взять Смоленск штурмом и затем действовать русским во фланг.
Генеральная атака крепости началась в 15 часов. От огня французской артиллерии вспыхнули и сгорели предместья. Французы и поляки достигли крепостной стены, но здесь были отбиты с большим уроном. Нею удалось со своей стороны овладеть предместьем, но он не решился штурмовать Королевский бастион. В 17 часов Даву повел атаку Малаховских ворот и добился некоторого успеха. Но в это время в город подоспела русская дивизия Евгения Вюртембергского и отбросила французов. Повторные атаки между шестью и семью часами вечера, главным образом польскими частями, также были отбиты с тяжелыми потерями для атакующих.
Убедившись в невозможности взять город штурмом, Наполеон приказал подвергнуть его бомбардировке из всех орудий. «Злодеи, — писал Ф. Глинка, — тотчас исполнили приказ изверга. Тучи бомб, гранат и ядер полетели на дома, башни, магазины, церкви. И дома, церкви и башни обнялись пламенем — и все, что может гореть — запылало!»
Русские войска за два дня сражения потеряли около 10 000 человек, французы — 19 000. «Приступы неприятеля, — вспоминал Барклай-де-Толли, — были самые жесточайшие и отважные, но в возмездие того и потери его столь чрезвычайны, что наш урон ни мало не может войти против неприятельского... Цель наша при защите развалин смоленских стен состояла в том, чтобы, занимая тем неприятеля, приостановить исполнение намерения его достигнуть Ельни и Дорогобужа и тем предоставить князю Багратиону нужное время прибыть беспрепятственно в последний город».
Русские войска бились под Смоленском так, что даже во французских отчетах и мемуарах то и дело отмечались удивительные эпизоды. Так называемое Петербургское предместье Смоленска пылало ярким пламенем. Смоленск уже был покинут русскими, и в горевший город разом через несколько крайних улиц вступали французские войска. Русский арьергард под предводительством генерала Коновницына и полковника Толя отчаянно оборонялся, продолжая задерживать неприятеля. Русские стрелки рассыпались по садам и в одиночку били в густые французские цепи и в прислугу французской артиллерии. Русские солдаты не хотели уходить оттуда ни за что, хотя знали о неминуемой близкой смерти. «В особенности между этими стрелками выделился своей храбростью и стойкостью один русский егерь, поместившийся как раз против нас, на самом берегу, за ивами, и которого мы не могли заставить молчать ни сосредоточенным против него ружейным огнем, ни даже действием одного специально против него назначенного орудия, разбившего все деревья, из-за которых он действовал, но он все не унимался и замолчал лишь к ночи, а когда на другой день... мы заглянули из любопытства на эту достопамятную позицию русского стрелка, то в груде искалеченных и расщепленных деревьев увидели убитого ядром нашего противника, унтер-офицера егерского полка, мужественно павшего здесь на своем посту», — вспоминал французский артиллерийский полковник Фабер дю Фор.
Очевидцы с удивлением констатировали, что под Смоленском солдаты так жаждали боя, что начальникам приходилось шпагой отгонять их там, где они слишком уж безрассудно подставляли себя под французскую картечь. «Ожесточение, с которым войска наши, в особенности пехота, сражались под Смоленском... невыразимо. Нетяжкие раны не замечались до тех пор, пока получившие их не падали от истощения сил и течения крови». Смоленская трагедия была особенно страшна еще и потому, что русское командование эвакуировало сюда большинство тяжелораненых из-под Могилева, Витебска, Красного, не говоря о раненых из отрядов Неверовского и Раевского. Эти тысячи людей были собраны в Старом городе, который загорелся еще во время битвы и сгорел дотла при отступлении русской армии, которая никого уже не могла спасти. Французы, войдя в город, застали здесь картину незабываемую. «Сила атаки и стремительность преследования дали неприятелю лишь время разрушить мосты, но не позволили ему эвакуировать раненых; и эти несчастные, покинутые на жестокую смерть, лежали здесь кучами, обугленные, едва сохраняя человеческий образ, среди дымящихся развалил и пылающих балок. Многие... лежали на улицах, превратившись в обугленные массы, и позы их указывали на страшные муки, которые должны были предшествовать смерти. Я дрожал от ужаса при виде этого зрелища, которое никогда не исчезнет из моей памяти. Задыхаясь от дыма и жары, мы поспешили выбраться за город. Казалось, я оставил за собою ад», — так описывал увиденное полковник Комб.
Продолжать оборону Смоленска дальше было опасно. Наполеон, обладая значительным численным превосходством, мог сковать под городом главные силы русских войск, переправиться через Днепр и, выйдя в тыл, отбросить русские войска в северо-восточном направлении от Московской дороги. Учитывая это, Барклай-де-Толли приказал начать отход с 17 на 18 августа. В эту ночь канонада и пожары усилились, а затем французы услышали взрывы неслыханной силы: русские уничтожали пороховые склады. К утру город, кроме Петербургского предместья, занимаемого арьергардом, был оставлен русскими войсками. Большая часть населения так же его покинула.