Родился 30 октября 1917 года в Молоково Тверской губернии в семье крестьянина. После окончания сельской школы работал счетоводом и секретарем райпрофсовета. Затем продолжил образование на Кудиновском энергетическом рабфаке
и в Московском инженерно-строительном институте имени В. В. Куйбышева.
В 1938 году был зачислен слушателем на 2-й курс Военно-инженерной академии имени В. В. Куйбышева, которую окончил в 1941 году, воентехник 1-го ранга.

Начало Великой Отечественной войны Огарков встретил на строительстве укрепленного района у реки Ломжа в должности полкового инженера 1-го стрелкового полка 17-й стрелковой дивизии. С октября 1941 года занимал должность старшего инженера-фортификатора 2-го отдела инженерного управления Карельского фронта. Затем, с 10 февраля 1942 года, полковой инженер стрелкового полка 289-й стрелковой дивизии, а с июня того же года — бригадный инженер 61-й морской стрелковой бригады того же фронта. 

С декабря 1942 года — помощник начальника штаба инженерных войск 32-й армии, инженер-капитан, а с августа 1943 года — помощник начальника оперативного отдела штаба инженерных войск Карельского фронта. Позднее дивизионным инженером
122-й стрелковой дивизии воевал на Карельском и 3-м Украинском фронтах.
Опыт инженерного обеспечения войск, полученный Огарковым в ходе Выборгско-Петрозаводской и Петсамо-Киркенесской операциях в Заполярье, значительно обогатился его участием в Будапештской и Венской операциях, в которых он проявил инициативу, глубокие военные и инженерные знания, мужество и отвагу. В апреле
1945 года во время боев в Венгрии Огарков был тяжело ранен.

После Великой Отечественной войны продолжил службу в инженерных частях: помощник и старший помощник начальника штаба инженерных войск 27-й армии
в Прикарпатском военном округе, подполковник. После окончания в 1947 году оперативно-инженерного факультета Военно-инженерной академии имени  
В. В. Куйбышева назначен заместителем начальника 1-го отдела инженерного управления Приморского военного округа. 

В сентябре 1948 года его назначают старшим офицером отдела, а с января 1949 года — начальником отдела управления штаба Главнокомандующего войсками Дальнего Востока. 

В сентябре 1950 года ему присваивается воинское звание полковника. В мае 1953 года Огаркова назначают начальником оперативного отдела оперативного управления штаба Дальневосточного военного округа, а в ноябре 1955 года начальником оперативного управления – заместителем начальника штаба округа. 

В июле 1957 года ему присваивают звание генерал-майора. После окончания
в 1959 году Военной академии Генерального штаба его назначают командиром
20-й гвардейской мотострелковой дивизии в Группе советских войск в Германии.
В декабре 1961 года Огарков получает назначение на должность начальника штаба — заместителя командующего войсками Белорусского военного округа, а в декабре
1965 года его назначают командующим войсками Приволжского военного округа.

В апреле 1968 года генерал-полковника (звание присвоено в октябре 1967 года) Огаркова назначают 1-м заместителем начальника Генерального штаба Вооруженных Сил СССР, а в ноябре 1973 года присваивают воинское звание генерала армии.
С 6 марта 1974 года он — заместитель Министра обороны СССР — председатель Государственной технической комиссии СССР и член Коллегии Министерства обороны.

В 1977 года Постановлением Совмина СССР № 18 от 6 января генерал армии Огарков был назначен начальником Генерального штаба Вооруженных Сил СССР – первым заместителем Министра обороны СССР, а 14 января 1977 года ему было присвоено воинское звание Маршала Советского Союза. 

За годы руководства Генштабом Огарков внес большой вклад в разработку важных проблем советской военной науки и практики, в развитие взаимодействия видов Советской Армии и родов войск и ее сотрудничества с армиями государств — участников Организации Варшавского договора. Он уделял серьезное внимание развитию теории управления стратегическими ядерными силами и противоракетной обороне группировок войск на театрах военных действий. С его именем тесно связаны создание Главных командований войск на стратегических направлениях для управления ими, а также, реформирование системы противовоздушной обороны (ПВО). Он подготовил и провел несколько самых крупных в истории отечественных Вооруженных Сил оперативно-стратегических учений и маневров на всех основных стратегических направлениях и с применением всех видов Вооруженных Сил, привлечением военно-научных и военно-промышленных органов страны. Крупнейшим из них стало оперативно-стратегическое учение под кодовым названием «Запад-81», проведенное в сентябре 1981 года. На нем впервые была использована автоматизированная система управления войсками и применены некоторые виды высокоточного оружия.

Николай Васильевич Огарков являлся автором и руководителем разработки ряда военно-теоретических и военно-исторических трудов. При его участии были подготовлены 12-томная «История Второй мировой войны 1939—1945» и многотомная «Советская Военная Энциклопедия». Военно-научная деятельность Огаркова
в 1981 году была отмечена Ленинской премией. 

В сентябре 1984 года Николай Васильевич Огарков был освобожден от должности начальника Генерального штаба и назначен главнокомандующим войсками Западного направления. В короткий срок под его руководством был создан орган оперативно-стратегического масштаба для управления коалиционной группировкой войск на важнейшем театре военный действий. 

В августе 1988 года он был переведен в Группу генеральных инспекторов Министерства обороны СССР. Одновременно в 1990—1991 годах являлся председателем Всесоюзного совета ветеранов войны, труда и Вооруженных Сил СССР. 

С января 1992 года Николай Васильевич Огарков являлся советником
при Министерстве обороны Российской Федерации и одновременно — советником начальника Генштаба объединенных вооруженных сил стран — участниц Содружества Независимых Государств. Избирался депутатом Верховного Совета СССР 7—
11-го созывов. 

Умер Николай Васильевич 23 января 1994 года. Похоронен на Новодевичьем кладбище в Москве.