Родился 22 ноября 1896 года в семье портового грузчика. Окончил церковно-приходскую школу. С 9 лет работал пастухом, кучером, батраком, чернорабочим
на шахтах Донбасса, солеваром на солеваренных заводах в Славянске, рулевым на барже. 

В мае 1915 года призван в Русский императорский флот, окончил школу рулевых Черноморского флота. Служил на минном тральщике. После Февральской революции избран председателем судового комитета. Член РКП(б) с февраля 1917 года. Во время Октябрьской революции командовал отрядом моряков, участвовал в установлении Советской власти в Одессе. Сразу после революции вступил в отряд Красной Гвардии.

В Красной Армии с февраля 1918 года. В Гражданскую войну — комиссар штаба
2-й Революционной армии (Екатеринослав), командир и комиссар бронепоезда № 4,
в 1920 году — командир-военком группы бронепоездов 13-й армии. Воевал
на Восточном фронте против чехословацкого корпуса и Колчака, на Северном фронте против Юденича, на Западном фронте против Польши, на Южном фронте против Врангеля. Отличался храбростью, дважды ранен, один раз контужен в боях.

После войны командовал бронепоездом, дивизионом, с 1930 года — 2-м полком бронепоездов Белорусского военного округа. В 1924 году окончил Высшую артиллерийскую школу комсостава, в 1927 году — годичные Артиллерийские курсы усовершенствования старшего комсостава, в 1930 году — курсы партийно-политической подготовки командиров-единоначальников при Военно-политической академии имени Н. Г. Толмачева, в 1934 году — Военную академию РККА имени
М. В. Фрунзе.

С 1934 года — в танковых войсках, командир 3-го отдельного танкового полка
в Московском военном округе; с 2 мая 1935 года — командир 15-й механизированной бригады Украинского военного округа. 26 ноября 1935 года присвоено звание комбриг. 

С августа 1937 года — начальник автобронетанковых войск Киевского (с 26 июля 1938 года) Особого военного округа. С июня 1940 года начальник Автобронетанкового (затем Главного) управления. Генерал-лейтенант танковых войск (4 июня 1940 года).

С июля 1941 года — заместитель наркома обороны СССР — начальник Автобронетанкового управления РККА, с декабря 1942 года — одновременно командующий бронетанковыми и механизированными войсками Красной армии. Генерал-полковник танковых войск (1 января 1943 года).

Во время Великой Отечественной войны неоднократно выезжал в войска, был представителем Ставки Верховного Главнокомандования в битве под Москвой,
в Сталинградской и Курской битвах, участник оборонительных операций
Северо-Западного фронта в 1942 году и наступательной операции на Брянском фронте в июне-августе 1943 года, наступательных сражений на Воронежском фронте
в 1943 году. Внёс в годы войны большой вклад в развитие и совершенствование бронетанковых и механизированных войск, способов их применения в ходе военных действий, в повышение выпуска танков и в их техническое совершенствование исходя из опыта боевых действий. Первый, наряду с Ротмистровым, советский военачальник, которому присвоено воинское звание маршал бронетанковых войск (указ от 21 февраля 1944 года).

После войны, с апреля 1946 года — командующий бронетанковыми
и механизированными войсками Сухопутных войск. Депутат Верховного Совета СССР
2-го созыва (с 1946 года).

Имя маршала Федоренко присвоено улицам в Москве, Харькове, Донецке и Рубцовске.

Скончался 26 марта 1947 года в Москве, похоронен на Новодевичьем кладбище.