Большие Вяземы принадлежали роду князей Голицыных с 1694 года, после того, как царь Петр пожаловал их Б.А. Голицыну. В 1813 году, после того, как от ран, полученных в Бородинском сражении, скончался генерал-лейтенант Борис Владимирович Голицын Вяземы перешли к его брату, Дмитрию Владимировичу.
В Вяземах бывали великие русские писатели Н.В. Гоголь и А.С. Пушкин. Именно в Вяземах на балу Пушкин впервые увидел свою будущую супругу Наталью Николаевну Гончарову.