В 1790 году переведён в финляндскую армию, в рядах которой участвовал в русско-шведской войне 1788—1790 гг. По окончании шведской войны переведён в Санкт-Петербургский гренадерский полк в чине премьер-майора.

В 1794 году в качестве командира батальона участвовал в военных действиях против польских повстанцев, и за особые отличия, оказанные при взятии штурмом укреплений Вильны и при разгроме отряда Грабовского близ Гродно, награждён орденом Св. Георгия 4-й ст. Произведённый затем в подполковники с переводом в Эстляндский егерский корпус, был назначен командиром 1-го батальона, переименованного при воцарении Павла I в 4-й егерский полк.

В 1798 году, уже в чине полковника, назначен шефом этого полка, за отличное состояние которого почти ровно через год в 1799 году произведён в генерал-майоры.

Выдвинулся Барклай де Толли во время войны 1805-1807 годов против наполеоновской Франции, когда его незаменимые качества – хладнокровие и выдержка в трудных обстоятельствах в сочетании со спокойным мужеством и большими военными познаниями – обратили на него внимание и способствовали быстрой последующей карьере. Под Пултуском – первом крупном сражении кампании 1806-1807 годов – Барклай командовал войсками первой линии и стойко отразил атаки маршала Ланна, за что получил Георгиевский крест 3-й степени. Накануне генерального сражения под Прейсиш-Эйлау Барклай во главе одного из отрядов прикрывал движение главных сил русской армии через Прейсиш-Эйлау. В конце арьергардного боя, когда французы уже ворвались на улицы города, он был тяжело ранен в правую руку и в бессознательном состоянии вынесен с поля боя одним из унтер-офицеров его отряда. Это ранение долго давало себя знать, и Барклай несколько лет носил на перевязи перебитую французской пулей руку, а позднее сохранил привычку поддерживать ее здоровой левой рукой. Так он изображен на портрете работы Доу. За Прейсиш-Эйлау Барклай де Толли был произведен в генерал-лейтенанты.

Во время русско-шведской войны 1808-1809 годов Барклай командовал одним из корпусов, действовавших в Финляндии, а затем 7-9 марта 1809 года совершил переход от города Ваза по льду пролива Кваркен и занял на шведском берегу город Умео. При этом, по донесению Барклая, «понесены были труды, единственно русскому преодолеть возможные». За эту операцию Барклай де Толли произведен в генералы от инфантерии одновременно с Багратионом, совершившим в те же дни ледовый переход от Або на Аландские острова. Затем, до окончания войны, он состоял главнокомандующим всеми русскими войсками на территории Финляндии.

В январе 1810 года Барклай назначается военным министром и на этом посту руководит мероприятиями по укреплению армии и по подготовке ее к уже назревавшей новой войне с наполеоновской Францией. Весною 1812 года он становится главнокомандующим 1-й Западной армией, продолжая, но уже номинально, оставаться военным министром.

В начале Отечественной войны на Барклая как на главнокомандующего самой многочисленной армией легла основная тяжесть ответственности за успех военных действий. Положение его, и без того трудное из-за подавляющего превосходства сил противника, осложнялось присутствием в армии Александра I с многочисленными придворными и военными «советниками». Достаточно сказать, что командиры корпусов обязаны были представлять свои донесения одновременно и главнокомандующему и царю, а последний нередко направлял «высочайшие повеления» непосредственно корпусным командирам, задним числом извещая об этом Барклая. Только после того как 1-я армия, отойдя от западной границы к Двине, оставила злополучный Дрисский лагерь и пошла на восток, Александр I уехал из армии и Барклай получил известную свободу действий.

Умело руководя отходом своих войск, Барклай 20 июля привел их к Смоленску, куда через два дня подошла с юга и армия Багратиона, добровольно вступившего под командование Барклая. План Наполеона разбить русские армии порознь потерпел неудачу. После ожесточенных арьергардных боев под Смоленском и Валутиной горой русские армии продолжали отходить на восток. Но если до Смоленска необходимость отступления была очевидна, то оставление этого города и дальнейшее – уже по исконным русским землям – отступление Барклая, не желавшего рисковать армией в преждевременном генеральном сражении, вызвали в войсках открытый ропот. Приняв на себя всю тяжесть ответственности за избранную им стратегию войны, убежденный в ее правильности, Барклай оказался в трудном положении. Замкнутый и необщительный по характеру, к тому же иностранец по фамилии, он не пользовался в войсках популярностью, подобно той, которая была у Кутузова и Багратиона, и подчиненные не скрывали своего недовольства, выполняя его приказы об отступлении. Дальнейшее пребывание Барклая во главе армии становилось невозможным. 17 августа он передал командование прибывшему к войскам и радостно встреченному ими Кутузову. Пользуясь полным доверием нового главнокомандующего, Барклай остался во главе 1-й армии.

Под Бородином Барклай де Толли руководил правым флангом и центром русских войск. Как бы бросая вызов смерти, он появлялся в самых опасных местах. Под ним было убито и ранено пять лошадей. Мало кто из его адъютантов и ординарцев остался невредимым. Полки, не раз до этого встречавшие его молчанием, под Бородином приветствовали Барклая дружным «ура». Существует рассказ, что раненый Багратион послал просить у него прощения, назвав его своим «благородным другом». За Бородинское сражение Барклай был награжден орденом Георгия 2-й степени.

В Тарутинском лагере он подал рапорт об увольнении его по болезни с поста главнокомандующего 1-й армией, фактически уже прекратившей свое существование, и, получив разрешение Кутузова, 22 сентября уехал в тыл.

Незабываемая заслуга Барклая де Толли – сохранение армии в первый, наиболее тяжелый, период войны. Но, несмотря на все свои достоинства, он не обладал теми качествами, которые сделали бы возможным его дальнейшее пребывание в роли вождя русских войск.

В январе 1813 года, еще при жизни Кутузова, Барклай вернулся в действующую армию и был назначен главнокомандующим 3-й Западной армией, заменив на этом посту Чичагова. 4 апреля, после непродолжительной осады, Барклай овладел сильной крепостью Торн, господствовавшей над районом нижнего течения Вислы. Взятие Торна значительно облегчило дальнейшие действия союзных войск.

16 апреля Кутузов умер и главнокомандующим русскими и прусскими войсками стал Витгенштейн. Барклай, беспрекословно вступивший под командование своего бывшего подчиненного, вскоре после сражения под Люценом примкнул со своей армией к главным силам союзных войск. В сражении 8-9 мая под Бауценом он командовал правым флангом, на который был направлен главный удар Наполеона. Умелым действиям и хладнокровию Барклая союзники были обязаны тем, что неудача под Бауценом не имела для них тяжелых последствий и не принесла Наполеону существенных выгод. После Бауцена Барклай сменил Витгенштейна на посту главнокомандующего русскими и прусскими войсками.

В сражении 17-18 августа под Кульмом Барклай, прибывший к месту боя с подкреплениями, принял на себя руководство действиями союзников, разгромивших здесь корпус генерала Вандама. За победу при Кульме Барклай был награжден орденом Георгия 1-й степени. В четырехдневном кровопролитном сражении 4-7 октября под Лейпцигом, решившем судьбу кампании 1813 года и вошедшем в историю под именем Битвы народов, Барклай появлялся всюду, где создавалось опасное положение, и немало способствовал победе союзных войск.

Во время кампании 1814 года на территории Франции Барклай де Толли руководил русскими войсками в сражениях при Бриене, Арсис-Сюр-Об, Фершампепуазе и при штурме укрепленных парижских предместий. В день взятия Парижа – 18 марта 1814 года – он был произведен в фельдмаршалы, а в 1815 году получил княжеский титул.

После окончания наполеоновских войн и возвращения русских войск на родину Барклай де Толли недолгое время командовал 1-й армией, но вскоре здоровье его резко ухудшилось, и на пятьдесят седьмом году жизни он скончался близ Инстербурга, в Восточной Пруссии, по пути на минеральные воды.