В 12 лет, в 1955 году, вслед за старшим братом Алексеем Громовым, поступил
в Саратовское суворовское военное училище (брат окончил училище в 1953 году).

В 1960 году, после сокращения саратовского училища, был переведён в Калининское Суворовское военное училище в городе Калинин (ныне Тверь), которое окончил
в 1962 году.

Окончил Ленинградское общевойсковое командное училище имени С. М. Кирова,
где учился в 1962—1965 годах.

После училища был направлен в Прибалтийский военный округ (город Калининград). Службу начал командиром взвода, а затем стал командиром роты мотострелковой дивизии.

Через четыре года, в 1969 году, был направлен на учёбу в Москву в Военную академию имени Фрунзе. Окончил её с отличием в 1972 году. По окончании академии служил
на должностях командира 1-го мотострелкового батальона 36-го мсп, начальника штаба и командира 428-го мотострелкового полка и начальника штаба
9-й мотострелковой Краснодарской Краснознамённой орденов Кутузова и Красной Звезды дивизии. Звания майор, подполковник и полковник получил досрочно.

Продолжил военное образование на академических курсах Военной академии имени М. В. Фрунзе, которые окончил в 1978 году.

С 1982 по 1984 учился в Военной академии Генерального штаба Вооружённых Сил СССР имени К. Е. Ворошилова, окончил её с золотой медалью.

Во время войны в Афганистане трижды проходил службу в частях Ограниченного контингента Советских войск (с февраля 1980 по август 1982 года, с марта 1985 по апрель 1986 года, 1987—1989). Удостоен звания Героя Советского Союза за успешное проведение операции «Магистраль». Был последним командующим 40-й армией (1987-89), одновременно являлся уполномоченным правительства СССР по делам временного пребывания советских войск в ДРА, руководил выводом советских войск из Афганистана.

В 1989 году Громову было присвоено очередное воинское звание - генерал-полковник; в том же году, 15 февраля, он был назначен командующим войсками Краснознамённого Киевского военного округа.

В начале 1989 года в СССР был создан новый высший орган государственной власти - Съезд народных депутатов СССР. В том же году Борис Громов был избран народным депутатом СССР. Также в 1989 году он был избран кандидатом в члены ЦК КПСС.

1 декабря 1990 года назначен первым заместителем министра внутренних дел СССР. Через 9 месяцев на этом посту его сменит Виктор Ерин.

В 1990-1991 годах - член Бюро ЦК Компартии Украины.

В 1991 году в стране развернулась кампания по выборам президента РСФСР. Кандидат Борис Ельцин выбрал в качестве напарника, кандидата на пост вице-президента, ветерана войны в Афганистане полковника Александра Руцкого. Аналогичный выбор в пользу военного сделал другой кандидат - Николай Рыжков, выступив в связке с генералом Борисом Громовым, народным депутатом СССР. И Ельцин, и Рыжков стремились таким образом расширить свой электорат, привлечь к себе избирателей, рассматривающих вооружённые силы как фактор стабильности, гарант поддержания порядка в стране. Выборы состоялись 12 июня, по их итогам пара Рыжков - Громов получила 15 % голосов.

На суде по делу ГКЧП заявил, что не было приказа о штурме Верховного Совета РСФСР. Его показания легли в оправдательный приговор Валентину Варенникову. В октябре - декабре 1991 года был начальником 1-х Центральных высших офицерских курсов «Выстрел» имени Маршала Советского Союза Бориса Михайловича Шапошникова.

6 декабря 1991 года назначен первым заместителем главнокомандующего сухопутными войсками.

С 16 июня 1992 года по 13 февраля 1995 года являлся заместителем министра обороны Российской Федерации. Бывший тогда министром Павел Грачёв позднее о начале Первой чеченской войны вспоминал: «Случилось так, что некоторые генералы - мои помощники, заместители - по различным причинам отказались или не смогли возглавить группировку, вести боевые действия. Не хочу называть их фамилии…».

В августе 1995 года назначен главным военным экспертом Министерства иностранных дел Российской Федерации в ранге заместителя министра.

В декабре 1995 года баллотировался на выборах в Государственную Думу РФ второго созыва. Возглавил список объединения «Моё Отечество», но оно не смогло преодолеть 5-процентный барьер. Однако сам Громов был избран депутатом Государственной Думы по Саратовскому избирательному округу.

В 1995-1999 годах Громов являлся членом думской фракции «Российские регионы», председатель подкомитета по контролю над вооружениями и международной безопасности Комитета Госдумы по международным делам.

В сентябре 1999 года Громов был включён в общефедеральный список избирательного блока «Отечество - Вся Россия» для участия в выборах в Государственную думу РФ третьего созыва. Но уже в октябре Громов был выдвинут группой избирателей кандидатом на должность губернатора Московской области.

19 декабря 1999 года состоялись выборы в Государственную думу РФ третьего созыва и Выборы губернатора и вице-губернатора Московской области - Борис Громов участвовал в обоих.

На выборах в Государственную Думу Громов (ОВР) был избран депутатом.

На выборах губернатора и вице-губернатора Московской области пара Борис Громов (депутат Госдумы, Отечество) и Михаил Мень (депутат Госдумы, Яблоко) набрала
20,65 % голосов, заняв второе место. Немногим больше набрали председатель Государственной думы Геннадий Селезнёв (КПРФ) и академик РАСХН Владимир Кашин - 27,6 % голосов.

Второй тур состоялся 9 января 2000 года. Пара Громов — Мень получила поддержку СПС и набрала 48,09 %, пара Селезнёв - Кашин набрала 46,39 %.

28 января 2000 года, в связи с избранием губернатором Московской области, Громов сложил депутатские полномочия. Его мандат был передан Владиславлеву.

16 марта 2000 года Громов заявил, что на президентских выборах поддержит исполнявшего обязанности президента Владимира Путина.

В первые месяцы губернаторства Громова произошло противостояние администрации Московской области с Гута-банком.

В июне 2003 года Борис Громов заявил о своем намерении баллотироваться на второй срок на пост губернатора Московской области.

28 августа на конференции московского областного отделения партии «Единая Россия» было принято решение предложить Громову возглавить региональный список партии на выборах в Госдуму. В сентябре он был включён в общефедеральный список партии «Единая Россия» № 1 в региональной группе «Московская область» для участия
в выборах в Государственную Думу четвёртого созыва.

17 сентября 2003 депутаты Московской областной думы удовлетворили просьбу Громова о сокращении срока его полномочий и назначили выборы губернатора Подмосковья на 7 декабря 2003, чтобы совместить их с парламентскими (срок полномочий Громова должен был истечь в феврале 2004 года).

2 октября Громов заявил, что намерен повторно баллотироваться на пост губернатора как независимый кандидат. До 6 ноября действующий губернатор Громов собрал требуемые Законом для регистрации кандидатом 80 тысяч подписей избирателей.

7 декабря 2003 года в один день состоялись выборы депутатов Государственной думы третьего созыва и выборы губернатора Московской области. На выборах в Государственную думу Громов был избран депутатом, но снова отказался от мандата. На выборах губернатора также одержал победу, набрав 83 % голосов. На втором месте оказался кандидат «против всех» (9,69 %), на третьем - Алексей Митрофанов (4,12 %).

23 декабря 2003 года президент России Путин включил Громова в состав Президиума Государственного совета Российской Федерации.

27 ноября 2004 года на съезде «Единой России» был избран в состав Высшего Совета партии.

22 ноября 2005 года Президент Белоруссии Александр Лукашенко наградил Бориса Громова орденом Дружбы народов.

В конце ноября 2005 года 62-летний Громов официально вступил в партию «Единая Россия» на съезде партии в Красноярске. Вручение партийного билета состоялось
в декабре.

28 апреля 2006 года Борис Громов подписал постановление о строительстве участка платной автомагистрали Москва — Санкт-Петербург через Химкинский лес,
в соответствии с которым требовалось вырубить 1000 га леса. Это вызвало сильный общественный резонанс и затянувшийся конфликт вокруг Химкинского леса.

Полномочия второго пятилетнего срока губернатора истекали, в соответствии
с законом, лишь в 2008 году, однако уже 18 апреля 2007 года, докладывая Владимиру Путину о ситуации в регионе, Громов обратился к президенту РФ с вопросом 

о доверии. 2 мая 2007 года Владимир Путин внёс в Мособлдуму (избранную в марте) кандидатуру Бориса Громова для утверждения его в должности главы правительства Московской области. 4 мая 2007 года президентом РФ Владимиром Путиным был назначен губернатором Московской области на третий срок с формулировкой «в связи с успехами в развитии региона». Кандидатура Громова на посту губернатора была единогласно поддержана депутатами Московской областной думы IV созыва, за него проголосовали все 50 парламентариев.

Однако уже в конце 2008 года возникли предположения о скорой отставке Громова.
В декабре 2008 года СМИ сообщали, что Громова якобы назначат послом на Украину, но позже эта информация была опровергнута.

В начале 2009 года Московская область столкнулась с чрезвычайной финансовой ситуацией. К 1 июня долг Московской области составил 155,2 миллиарда  рублей, превысив предельно допустимый объём на 1 %. Тогда же Громов был вынужден отправить в отставку своего первого заместителя - вице-губернатора Алексея Пантелеева (формально Пантелеев по собственному желанию ушёл в отпуск
с последующим увольнением). Также в начале июля Громов публично заявил, что в подмосковном бюджете осталось «не очень много денег» на текущие расходы региона. «Улучшения не будет. Будет только ухудшение. Ту жизнь, которой мы жили раньше, нужно забыть», - сказал губернатор.

2 июля 2010 года Борис Громов оригинально прокомментировал транспортный коллапс на Ленинградском шоссе: «Я летаю на вертолёте. Вам тоже надо покупать вертолёты вместо машин — дороги не нужны».

1 сентября 2010 года Громов заявил, что настаивает на строительстве скоростной трассы Москва — Санкт-Петербург через Химкинский лес.

9 февраля 2011 года газета «Век» сообщила со ссылкой на представителей общественного движения «Громову. НЕТ»: «Губернатор Громов потребовал на выборах 4 марта обеспечить 75 % голосов для кандидата в президенты Владимира Путина. Таким образом, он намерен исправиться за провал партии „Единая Россия“ на прошедших выборах в Госдуму: партия власти набрала меньше 33 % голосов, что почти в 2 раза меньше голосов по сравнению с 2007 годом». «Нынешний губернатор и его окружение, - говорят активисты, - рассчитывают, что оглушительный успех Владимира Путина в Подмосковье 4 марта даст надежду на переназначение Бориса Громова».

Официально последние 5-летние полномочия Бориса Громова, как губернатора Московской области, истекли 11 мая 2012 года. В соответствии со ст. 26.1 Федерального закона от 11 июля 2001 года № 95-ФЗ «О политических партиях» консультации лица, уполномоченного президентом РФ Дмитрием Медведевым, с партией «Единая Россия» по вопросу выдвижения кандидатур на должность губернатора Московской области проводятся не позднее, чем за 45 дней до истечения срока полномочий губернатора, то есть до 19 марта. Предложения о кандидатурах вносятся президенту Российской Федерации не позднее, чем за 40 дней до истечения срока полномочий губернатора,
то есть до 24 марта.

В связи с этим уже в марте, после президентских выборов, на которых победил Владимир Путин, возник вопрос о новой кандидатуре на пост губернатора. Уход Громова с губернаторского поста при этом не становился какой-либо сенсацией, поскольку в связи с большим количеством нерешённых проблем области, накопившихся за 12-летний период его губернаторства, завершение его карьеры прогнозировалось уже последние несколько лет.

Эксперты называли среди возможных преемников подмосковного губернатора главу Минтранса Игоря Левитина, главу Минрегионразвития Виктора Басаргина, главу Минприроды Юрия Трутнева и главу Высшего совета «Единой России», экс-спикера Госдумы Бориса Грызлова. 30 марта 2012 года Глава МЧС России Сергей Шойгу заявил о готовности стать губернатором Московской области, если этот пост будет доверен ему по решению Президента России при поддержке парламента Подмосковья.

23 марта 2012 года Борис Громов сообщил, что принял решение обратиться
к президенту России и в Высший совет партии «Единая Россия» с просьбой
не рассматривать его в качестве одного из кандидатов на пост губернатора региона
на следующий период.

«Forbes», подводя итоги 12-летнего правления генерал-губернатора, отмечает: «концентрация экономических проблем и коррупционных скандалов в вотчине Громова даже по российским меркам кажется отчаянно высокой».

10 мая 2012 года Московской областной избирательной комиссией утверждён депутатом Московской областной думы. Это фиктивное действие было проделано исключительно для обхода принятого незадолго до того закона, предписывающего назначать в Совет Федерации депутатов каких либо выборных органов власти. Ранее Громов отказался от мандата Мособлдумы. (В декабре 2014 года Конституционный суд России признал повторную передачу мандата неконституционной.) Уже через два дня 12 мая 2012 года постановлением нового губернатора Московской области Сергея Шойгу Громов назначен представителем в Совете Федерации от правительства Подмосковья. 26 июня 2013 года полномочия сенатора Громова были досрочно прекращены постановлением председателя Совета Федерации В. И. Матвиенко.
На освободившееся место в сентябре 2014 года был назначен бывший депутат Госдумы уроженец г.Жданов (ныне Мариуполь) Саблин, Дмитрий Вадимович - зять Громова, уступивший ему место в Госдуме.

21 июня 2013 года Центризбирком России зарегистрировал Бориса Громова депутатом Госдумы шестого созыва от партии «Единая Россия». Вакантный мандат депутата был предложен Громову после досрочного прекращения депутатских полномочий члена фракции «Единая Россия» Дмитрия Саблина (мужа Аллы Налча, племянницы Бориса Громова). Саблин по собственному желанию ушёл из нижней палаты парламента. Глава ЦИКа Владимир Чуров лично вручил Громову удостоверение депутата Госдумы шестого созыва. Громов получил мандат несмотря на то, что в декабре 2011 года, сразу после выборов в Госдуму, он от него отказался. Это стало возможно, после того, как в марте 2013 Конституционный суд России определил, что руководящий орган политической партии, если у него есть для этого объективные причины, вправе отступить от очерёдности кандидатов при передаче вакантного мандата депутата Государственной думы. В региональной группе «Московская область» списка партии «Единая Россия» на выборах в Госдуму Громов шёл под номером 1, а Саблин под номером 5. А в декабре 2014 года Конституционный Суд Российской Федерации запретил повторную передачу мандата кандидатам, ранее отказавшимся от него ради работы в исполнительных органах, как нарушающую принцип разделения властей.