4 (16) августа Смоленск обороняли 7-й пехотный корпус генерал-лейтенанта Н.Н. Раевского и 27-я пехотная дивизия генерал-майора Д.П. Неверовского. Войска 3-го армейского корпуса маршала М. Нея предприняли две неудачных атаки на городские укрепления. Наполеон, заметив приближение к Смоленску основных сил 1-й и 2-й армий, приказал прекратить активные действия, предполагая, что на следующий день состоится генеральное сражение. Но М.Б. Барклай де Толли не собирался вступать в решающую битву. Смоленск предстояло удерживать только для того, чтобы дать возможность планомерно отвести войска в московском направлении.
В ночь с 4 (16) на 5 (17) августа 7-й пехотный корпус Раевского был сменен 6-м пехотным корпусом генерала от инфантерии Д.С. Дохтурова. 5(17) августа Наполеон, заметив отступление от города колонн 2-й армии, отдал приказ 1-му, 3-му и 5-му армейским корпусам на штурм города. В предместьях начались ожесточенные бои. К четырем часам дня особенно опасная ситуация возникла у Молоховских ворот, где неприятель сильно теснил 7-ю пехотную дивизию генерал-лейтенанта П.М. Капцевича. В подкрепление войскам Дохтурова Барклай направил 4-ю пехотную дивизию генерал-майора принца Е. Вюртембергского и 3-ю пехотную дивизию генерал-лейтенанта П.П. Коновницына. Благодаря вовремя подоспевшей помощи неприятель был отброшен. Момент контратаки русских войск возле Молоховских ворот изображен на эскизе к известной работе современного художника-баталиста А.Ю. Аверьянова «Оборона Смоленска 5(17) августа».
Под Смоленском Наполеон сосредоточил около 146 тысяч человек (без учета войск Э. Богарне, насчитывавших около 44 тысяч) В сражении с его стороны приняло участие около 45 тысяч. Российские войска, оборонявшие город, насчитывали около 30 тысяч.