Родился 30 сентября 1896 года в городе Трубчевск Брянской области в семье сапожника. Русский. 

Поступил в мужскую прогимназию, а в 1913 году в учительскую семинарию в городе Карачев, которую окончил осенью 1916 года.

В январе 1917 года Иван Ефимович Петров поступил в Алексеевское юнкерское училище в Москве, которое окончил 1 июня 1917 года. По окончании училища в чине прапорщика служил командиром полуроты в запасном 156-м пехотном полку
в Астрахани. Переболел дизентерией и был уволен из армии по состоянию здоровья.

В 1918 году вступил добровольцем в РККА. Участник Гражданской войны.

Воевал на Восточном фронте в составе 25-й стрелковой дивизии. Участвовал
в подавлении восстания анархистов в Самаре (май 1918 года), в составе 1-го самарского коммунистического отряда участвовал в боях под под Сызранью, Самарой, Мелекессом, Симбирском, в боях против белочехов (1919 год) и уральских казаков.
С мая 1920 года — на Западном фронте против белополяков. Командир взвода, член военного трибунала особого отряда, военный комиссар полка.

После окончания гражданской войны Иван Ефимович Петров — командир отдельного кавалерийского эскадрона, полка, отдельной бригады 11 кавалерийской дивизии Первой конной армией. С весны 1922 года началась его служба в Туркестане, куда была переброшена его дивизия для борьбы с басмачами.

В сентябре 1922 года Иван Ефимович Петров был назначен командиром сводного отряда 2-й бригады 11-й кавалерийской дивизии, входящей в состав 13-го стрелкового корпуса, специально созданного для борьбы с басмачами в Матчинском бекстве.

Позднее лихая атака бойцов 11-й кавдивизии под командованием Ивана Ефимовича Петрова у колодца Такай-Кудук, в которой 23 сентября 1922 года был уничтожен курбаши Абду-Саттар-хан вместе со всем своим отрядом, была отмечена в приказе войскам 13-го стрелкового корпуса.

В 1926 и в 1931 годах Иван Ефимович Петров окончил стрелково-тактические курсы усовершенствования комсостава РККА (КУКС «Выстрел»).

В 1929 году он — командир 2-го Туркменского кавалерийского полка Туркменской бригады. В 1931—1932  годах — командир 1-й Туркестанской горнострелковой дивизии. В 1932—1940 годах начальник и военком объединённой военной школы
 (с 1937 года Ташкентское пехотное училище). 4 ноября 1939 года присвоено звание комдива. С июня 1940 года — он командир 194-й стрелковой дивизии, с октября — инспектор пехоты Среднеазиатского военного округа. С введением в РККА генеральских званий 4 июня 1940-го года Ивану Ефимовичу Петрову было присвоено звание «генерал-майор».

В марте 1941 года Петров был назначен командиром 27-го механизированного корпуса, формировавшегося в Средней Азии.

С началом Великой Отечественной войны корпус ускоренными темпами закончил формирование и был направлен в район Брянска. 8 июля 1941 года советским Генеральным штабом на основе опыта первых дней войны было принято решение
о расформировании корпусного звена бронетанковых войск и переформировании имевшихся танковых дивизий по новым штатам. 15 июля 1941 года управление 27-го механизированного корпуса было расформировано. Генерал Петров был назначен командиром 1-й кавалерийской дивизии.

20 августа 1941 года Петров стал командиром 25-й Чапаевской стрелковой дивизии,
с которой принял участие в обороне Одессы. 5 октября 1941 года генерал-майор Петров принял командование Приморской армией. Он руководил эвакуацией советских войск из Одессы на Крымский полуостров.

Генерал Петров был одним из руководителей обороны Севастополя. В ноябре — декабре 1941 года войска под командованием Петрова и моряки Черноморского флота под командованием вице-адмирала Октябрьского отразили два наступления 11-й немецкой армии под командованием генерал-полковника Манштейна. В дальнейшем до лета 1942 года советские войска в Севастопольском оборонительном районе под командованием Ивана Ефимовича Петрова успешно сковывали крупные силы немецких войск. 

В июне-июле 1942 года блокированный гарнизон Севастопольского оборонительного района 4 недели отражал новое наступление превосходящих сил немецких войск Манштейна. После сдачи города Иван Ефимович Петров, среди прочих руководителей обороны, был эвакуирован на подводной лодке. Тяжело переживая поражение
и невозможность спасти защитников города, перед эвакуацией Петров попытался застрелиться, но был удержан своими соратниками от этого поступка.

С августа 1942 года Иван Ефимович Петров командовал войсками 44-й армии.

С октября 1942 года — командующий Черноморской группой войск Закавказского фронта. На этих постах отличился в боях при обороне Кавказа, особенно значительную роль сыграл во время Туапсинской оборонительной операции. 14 октября 1942 года Ивану Ефимовичу Петрову присвоено воинское звание «генерал-лейтенант».

С марта 1943 года Иван Ефимович Петров начальник штаба, а с мая — командующий Северо-Кавказским фронтом. Войска фронта под командованием Ивана Ефимовича Петрова успешно участвовали в Новороссийско-Таманской операции, Новороссийской десантной операции, в боях при освобождении Таманского полуострова и городов Майкоп, Краснодар и Новороссийск.

27 августа 1943 года Ивану Ефимовичу Петрову присвоено звание генерал-полковника, а 9 октября 1943 — генерала армии.

Войска фронта в ноябре 1943 года форсировали Керченский пролив и заняли плацдармы на Керченском полуострове, проведя исключительно трудную
Керченско-Эльтигенскую десантную операцию. 20 ноября 1943 года на основании директивы Ставки ВГК от 15 ноября 1943 года фронт преобразован в отдельную Приморскую армию.

Однако 3 марта 1944 года за неудачное проведение ряда частных наступательных операций (в том числе десант на мыс Тархан и десант в Керченский порт) Петров был освобождён от должности командующего Приморской армией, зачислен в резерв Ставки ВГК и понижен в звании до генерал-полковника.

С 13 марта 1944 года генерал-полковник Петров командовал 33-й армией Западного фронта, с 12 апреля он командующий 2-м Белорусским, с 6 августа — 4-м Украинским фронтами. Отличился в боях при Восточно-Карпатской операции, войска его фронта освободили Закарпатскую Украину. 26 октября 1944 года Ивану Ефимовичу Петрову вновь присвоено воинское звание генерала армии.

Однако из-за неудачного начала наступления войск фронта в Моравско-Остравской операции директивой Ставки Верховного Главнокомандования № 11041 от 17 марта 1945 года Петров был обвинен в неподготовленности наступления и в том, что не доложил о неготовности войск фронта в Ставку. В директиве было указано: «Ставка последний раз предупреждает генерала армии Петрова и указывает ему на его недочёты в руководстве войсками». А вскоре приказом Верховного Главнокомандующего СССР И. В. Сталина № 11045 от 25 марта 1945 года он был снят
с должности командующего войсками фронта с резкой формулировкой: «Генерала армии Петрова И. Е. снять с должности командующего войсками 4-го Украинского фронта за попытку обмануть Ставку насчёт истинного положения войск фронта, не готовых полностью к наступлению в назначенный срок, в результате чего была сорвана намеченная на 10 марта операция. Генералу армии Петрову после сдачи войск фронта прибыть в распоряжение Ставки».

В марте 1945 года Иван Ефимович Петров был назначен начальником штаба
1-го Украинского фронта.

За умелое управление войсками в Берлинской и Пражской операциях, инициативу
и самоотверженность 29 мая 1945 года генералу армии Ивану Ефимовичу Петрову было присвоено звание Героя Советского Союза.

Академик Абрам Алиханов в своих воспоминаниях утверждал, что Сталин намеревался присвоить в 1952 году Ивану Ефимовичу Петрову звание маршала.

После войны командовал войсками Туркестанского военного округа,
в 1952—1953 годах — 1-й заместитель главного инспектора Советской Армии, затем начальник Главного управления боевой и физической подготовки, 1-й заместитель главкома Сухопутных войск, главный инспектор Министерства Обороны СССР.
Депутат Верховного Совета СССР 2—4-го созывов.

Во время Ашхабадского землетрясения его сын Юрий Иванович Петров, подполковник Советской армии, был застрелен мародёром.

Иван Ефимович Петров умер 7 апреля 1958 года. Похоронен в Москве,
на Новодевичьем кладбище.