Впервые деревня Ярцово упоминается в 1779 году. А известность она получила в 1859 году под названием Ярцев-перевоз. Здесь находилась переправа через реку Вопь и постоялый двор на Екатериненском большаке, связывавшем Духовщину и Дорогобуж. После прокладки в 1870 году железнодорожной линии Москва – Брест была построена одноименная станция, которая быстро набрала хороший грузооборот. В 1873 году фабрикант Алексей Хлудов основал в Ярцево крупную текстильную мануфактуру, которую оснастил современным английским оборудованием. А вот условия труда на фабрике были крайне тяжелыми, что вызывало постоянные конфликты с администрацией и продолжительные стачки. В 1925 году Ярцево становится центром уезда, а в 1926 году городом. В начале Великой Отечественной войны в 1941 году Ярцевский район находился в центре Смоленской оборонительной операции, которая продолжалась с 10 июля по 10 сентября. В самом городе и его окрестностях происходили жесточайшие бои с фашистами. Командующим частями Советской Армии в Ярцево в это время был К.К. Рокоссовский. Из частей под его командованием 8 августа 1941 года была сформирована 16-я армия. К 10 сентября 1941 года линия фронта стабилизировалась перед рекой Вопь. Однако уже 2 октября немецкие войска совершили стремительный прорыв в направлении Сычёвки, севернее Ярцево, и 5 октября части 16-й армии оставили город. А 7 октября фашисты замкнули кольцо окружения под Вязьмой, в которое попали части 20-й и 19-й армий, действовавших севернее Ярцево. Большая часть Ярцевского района была освобождена во время Ржевско-вяземской наступательной операции в марте 1943 года, а сам город в сентябре 1943 года. В городе работает историко-краеведческий музей, расположенный по адресу улица Ленинская, дом 3 (здание кинотеатра “Россия”). Также имеется некоторое количество достопримечательностей и памятников: Башня с часами Хлудовской мануфактуры (XIX в) на территории хлопчатобумажного комбината. Хлудовская казарма (конец XIX в). Жилой дом времён основания фабрики, использующийся под жилье и по ныне. Петропавловская церковь (1915 г). Улица Слободская, дом 2. Действующая. Церковь иконы Божьей Матери “Всех скорбящих Радость” (1997 г). Пл. Победы. Танк Т-34 на пл. Победы. Памятник героям 1812 года в городском парке по ул. Чайковского. Оригинальный памятник Ленину по ул. Ленинская. Предполагается, что он был отлит и установлен в первые дни после смерти вождя. Памятник защитникам Ярцева в 1941 году. На правом берегу реки Вопь за автомобильным мостом. Мемориальный комплекс на братской могиле в деревне Яковлево на магистрали М-1. Здесь похоронено 3720 воинов Советской Армии, погибших при обороне и освобождении города в 1941-1943 годах. Горит вечный огонь. Памятник-пушка при въезде в город на магистрали М-1. Памятник двенадцати партизанским семьям на ул. Бельская у железной дороги. Поле Памяти у деревни Ульхово. Братская могила около 900 советских воинов погибших на территории Ярцевского и Духовщинского районов. Свято-Михайловская церковь (2007 г). Рядом с вокзалом.
