Но ближе к вечеру на противоположном (правом) берегу Днепра показалась 2-я Западная армия Багратиона, вскоре прибыл и Барклай-де-Толли со своими войсками. Граф Сегюр описывает, что, увидев с ближайшего холма «в облаке пыли длинные черные колонны и сверкающие массы оружия», французский император с радостью воскликнул: «Наконец-то, теперь они в моих руках!»
Оказалось, что российские войска находятся в очень невыгодном положении. К тому же, имея значительно превосходящие силы, Наполеон мог обойти их с востока и заставить отступать по неподготовленной дороге на север. Исходя из сложившейся ситуации, Барклай-де-Толли отправил армию Багратиона для защиты путей отхода, а сам мог спокойно наблюдать за развитием событий с правого берега Днепра.
Замысел российского главнокомандующего, в отличие от Наполеона, не состоял в организации генерального сражения. Сражение за город стало арьергардным боем с целью задержать противника и нанести ему как можно больший урон.
Таким образом, первый день сражения, благодаря случайной задержке корпуса Раевского и мужеству солдат Неверовского, стал победой Барклая-де-Толли. Военный историк Липранди писал, что «если бы Наполеон сделал для завладения Смоленском 4 августа то же усилие, которое употребил 5-го, то город был бы взят».
Ночью на 5 (17) августа корпус Раевского в Смоленске сменил корпус генерала от инфантерии Дохтурова, усиленный двумя дивизиями и одной бригадой. Также были сделаны приготовления для обороны.
Утром Наполеон традиционно ожидал выхода всех сил в поле для генерального сражения. Когда он узнал об отходе армии Багратиона, то решил нанести удар на стык русских армий, чтобы их разъединить. Но, не найдя удачного брода через реку, французы атаковали город с разных сторон. Не сумев продвинуться дальше предместий, они усилили артиллерийский обстрел Смоленска. О французских потерях граф Сегюр писал: «Развертывая штурм, наши атакующие колонны оставляли длинный и широкий след из крови, раненых и мертвых. Говорили, что один из батальонов, повернутый флангом к русским батареям, потерял целый ряд в своем подразделении от единственного ядра. Двадцать два человека пали разом».
После обеда в атаку был брошен польский корпус Понятовского. Их попытки войти в город также не увенчались успехом. По воспоминаниям генерала Ермолова, инспектировавшего в тот день войска в Смоленске, поляки понесли особенно тяжелые потери от артиллерийского огня.
При содействии поляков особенно мощный приступ на город начали войска корпуса маршала Даву. В это время за Смоленск сражалось до 25 000 русских солдат. Военный историк генерал В. Харкевич в своих дневниках писал: «Ожесточение, с которым войска наши, в особенности пехота, сражались под Смоленском… невыразимо. Нетяжкие раны не замечались до тех пор, пока получившие их не падали от истощения сил и течения крови». К вечеру Наполеон был вынужден отозвать войска, так и не прорвавшиеся в крепость. После их отхода город стали обстреливать 150 орудий. Поздно вечером последовала еще одна неудачная атака французов.
В романе «Война и мир» Лев Толстой довольно реалистично реконструировал ситуацию внутри города в тот день (писатель был артиллеристом и принимал участие в обороне Севастополя во время Крымской войны 1853–1856 гг.): «…по улице пробежали два человека к мосту. С разных сторон слышались свисты, удары ядер и лопанье гранат, падавших в городе. Но звуки эти почти не слышны были и не обращали внимания жителей в сравнении с звуками пальбы, слышными за городом. Это было бомбардирование, которое в пятом часу приказал открыть Наполеон по городу, из ста тридцати орудий. Народ первое время не понимал значения этого бомбардирования. Звуки падавших гранат и ядер возбуждали сначала только любопытство… К воротам вышли кухарка и лавочник. Все с веселым любопытством старались увидать проносившиеся над их головами снаряды… Между тем другие снаряды, то с быстрым, мрачным свистом ядра, то с приятным посвистыванием гранаты, не переставали перелетать через головы народа; но ни один снаряд не падал близко, все переносило… Опять, но очень близко этот раз, засвистело что-то, как сверху вниз летящая птичка, блеснул огонь посередине улицы, выстрелило что-то и застлало дымом улицу… Через пять минут никого не оставалось на улице. Кухарку с бедром, разбитым гранатным осколком, снесли в кухню… Алпатыч, его кучер, Ферапонтова жена с детьми, дворник сидели в подвале, прислушиваясь. Гул орудий, свист снарядов и жалостный стон кухарки, преобладавший над всеми звуками, не умолкали ни на мгновение. Хозяйка то укачивала и уговаривала ребенка, то жалостным шепотом спрашивала у всех входивших в подвал, где был ее хозяин, оставшийся на улице. Вошедший в подвал лавочник сказал ей, что хозяин пошел с народом в собор, где поднимали смоленскую чудотворную икону. К сумеркам канонада стала стихать… После замолкшего прежнего страшного гула орудий над городом казалась тишина, прерываемая только как бы распространенным по всему городу шелестом шагов, стонов, дальних криков и треска пожаров. Стоны кухарки теперь затихли. С двух сторон поднимались и расходились черные клубы дыма от пожаров… Увидав дым и даже огни пожаров, видневшиеся теперь в начинавшихся сумерках, бабы, до тех пор молчавшие, вдруг заголосили, глядя на пожары. Как бы вторя им, послышались такие же плачи на других концах улицы».
За этот день российские потери составили 4 тысячи человек.
Ночью Барклай-де-Толли организовал военный совет. На нем традиционно рассматривались различные варианты дальнейших действий, среди которых были продолжение обороны и даже наступление на французов. В результате победила умеренная позиция главнокомандующего: «Барклай достиг своей цели, – писал Клаузевиц, – правда, чисто местного характера: он не покинул Смоленска без боя… Преимущества, которыми располагал здесь Барклай, заключались, во-первых, в том, что это был бой, который никоим образом не мог привести к общему поражению, что вообще легко может иметь место, когда целиком ввязываются в серьезный бой с противником, обладающим значительным превосходством сил… Потеряв Смоленск, Барклай мог закончить на этом операцию и продолжить свое отступление».
Таким образом, в ночь на 6 (18) августа армия отошла к северу, крепость также была оставлена российскими войсками. Чтобы дать возможность всей 1-й Западной армии спокойно выйти на Московскую дорогу, а также чтобы не отстать от нее и не быть окруженным, на следующий день Барклай-де-Толли провел оборонительное сражение у Валутиной горы. В частности, утром следующего дня Ней нанес сильный удар по российским войскам – отступавшим корпусам генерала К. Багговута и генерала А. Остермана-Толстого. Однако к ним на помощь подошел отряд принца Вюртембергского, который помог отбить атаки.
Узнав об этом сражении, Наполеон приказал корпусу маршала Даву идти за Неем, а корпусу Жюно – переправиться через Днепр южнее Смоленска. Последний вместе с Мюратом должен был атаковать российские войска слева, а Ней – собственно с фронта. Около полудня Ней начал атаку, но подошедшее подкрепление позволило оборонявшимся избежать тяжелых последствий. Когда стало известно о движении Мюрата и Жюно в обход русского левого фланга, сюда также были присланы дополнительные силы. В результате четыре атаки были отбиты. При этом Жюно оставался в бездействии, хотя его кавалерия, атаковавшая вместе с конницей Мюрата, имела частный успех. Последующие атаки французов и успешная оборона российских войск привели к тому, что общие потери первых составили 8 000–9 000 человек, а вторых – 5 000–6 000.
Основным результатом боя у Валутиной горы стал успешный выход 1-й Западной армии на Московскую дорогу и последовавшее за этим соединение с силами 2-й Западной армии. В ходе сражения российские войска проявили стойкость, несмотря на превосходящие силы неприятеля (вследствие этого наблюдался постепенный ввод в бой частей из разных соединений). Причинами неудачи французов стали отсутствие взаимодействия между отдельными корпусами, пассивность Жюно, а также ошибка Наполеона, который оценил бой у Валутиной горы как обычное арьергардное сражение и покинул войска, не убедившись в точном исполнении отданных приказов. Узнав о медлительность Жюно, а также о том, что на пути ему попалось непроходимое болото, французский император воскликнул: «Жюно упустил русских. Из-за него я теряю кампанию».
После того как российская армия оставила Смоленск, полковник А. Закревский, принимавший участие в боях, написал командиру дивизии М. Воронцову: «Холоднокровие, беспечность нашего министра я ни к чему иному не могу приписать, как совершенной измене (это сказано между нами)… Сему первый пример есть тот, что мы покинули без нужды Смоленск и идем бог знает куда и без всякой цели для разорения России. Я говорю о сем с сердцем как русский, со слезами. Когда были эти времена, что мы кидали старинные города?…Будьте здоровы, но веселым быть не от чего. Я не могу смотреть без слез на жителей, с воплем идущих за нами с малолетними детьми, кинувши свою родину и имущество. Город весь горит».