Родился 24 октября 1886 года в Кутаисской губернии, в семье мелкопоместного дворянина. Учился в Харагульском двухклассном училище, затем в тифлисской фельдшерской школе при Михайловской больнице, которую окончил в 1905 году. 

Во время обучения в 1903 году вступил в РСДРП(б). Работал фельдшером
и одновременно вел партийную работу на Кавказе, был арестован и заключен
в Сухумскую тюрьму. 

В гражданскую войну Орджоникидзе - один из политических руководителей Красной Армии. С апреля 1918 года - временный чрезвычайный комиссар Юга России,
член ЦИК Донской советской республики. Один из организаторов обороны Царицына (май 1918 года), где особенно сблизился со Сталиным. 

В 1921–1927 годах и с 1930 года член ЦК партии. Во внутриполитической борьбе всегда безоговорочно поддерживал Сталина, выступал сторонником политики усиленной индустриализации народного хозяйства и сплошной коллективизации деревни.

10 ноября 1930 года Орджоникидзе возглавил Всесоюзный совет народного хозяйства (ВСНХ) СССР, в подчинении которого находилась практически вся промышленность страны. 5 января 1932 года ВСНХ был разделен на несколько наркоматов, Орджоникидзе был поручен важнейший из них – наркомат тяжелой промышленности. 

После установления сталинского единовластия в партии у Орджоникидзе постепенно начали ухудшаться взаимоотношения со Сталиным, прежде всего из-за того,
что нарком тяжелой промышленности все более откровенно начал выступать против наращивания террора в стране. 

Определенную роль в ухудшении взаимоотношений бывших близких друзей сыграло выдвижение по инициативе Сталина на первую роль в Закавказской партийной организации Л.П. Берия, которого Орджоникидзе не только не любил, но считал проходимцем и опасным интриганом.

18 февраля 1937 года, за пять дней до открытия февральско-мартовского (1937 год) пленума ЦК ВКП(б), Серго Орджоникидзе покончил жизнь самоубийством, застрелившись из именного пистолета у себя в московской квартире. Официально
в газетах было объявлено, что Орджоникидзе скончался от паралича сердца. Похоронен у Кремлевской стены на Красной площади Москвы.