Родился 25 ноября 1914 года в городе Константиноград в семье рабочего.  После окончания средней школы работал инструктором райкома комсомола в Краснограде.

Служил в РККА с 1932 года на должностях младших командиров и политработников.
В 1937 году окончил Ульяновское бронетанковое военное училище, направлен
в Киевский военный округ, служил командиром танкового взвода и взвода разведки.
В 1941 году окончил Военную академию механизации и моторизации РККА имени И. В. Сталина.

В Великую Отечественную войну воевал на Ленинградском и Калининском фронтах: помощник начальника оперативного отделения (с июля 1941 года), начальник оперативного отделения (с августа 1941 года), начальник штаба 21-й танковой дивизии (с октября 1941 года), начальник штаба 104-й танковой бригады (с февраля 1942 года), командир 104-й танковой бригады (с июля 1942 года). В конце 1942 года был тяжело ранен, после выздоровления с марта 1943 года преподавал в Военной академии механизации и моторизации РККА имени И. В. Сталина. В феврале 1944 года вновь направлен в действующую армию, был начальником оперативного отдела штаба 4-го гвардейского механизированного корпуса (1944—1945 годы) на 3-м Украинском фронте. В этой должности участвовал в Ясско-Кишинёвской, Белградской, Будапештской операциях.

С 1945 года — командир механизированной бригады, после её расформирования до 1948 года — командир механизированного полка. В 1950 году окончил Высшую военную академию имени К. Е. Ворошилова. С 1950 года — начальник отдела
и заместитель начальника штаба корпуса, начальник штаба механизированной дивизии. С 1951 года — командир механизированной дивизии. С мая 1953 года — начальник штаба и первый заместитель командующего армией. С 1956 года — помощник Главнокомандующего — начальник управления боевой подготовки Группы советских войск в Германии. С 1957 года — командующий 1-й гвардейской танковой Краснознамённой армией в Дрездене. С 1958 года — командующий 8-й гвардейской общевойсковой ордена Ленина армией в городе Нора.

Когда был создан новый род войск — Ракетные войска стратегического назначения, Толубко был переведён в них и в марте 1960 года назначен первым заместителем Главнокомандующего РВСН. Сыграл большую роль в становлении принципиально нового рода войск. В апреле 1968 года возвращён в сухопутные войска и назначен командующим войсками Сибирского военного округа. С мая 1969 года — командующий войсками Дальневосточного военного округа. Генерал армии (1970 год). Но затем опять переведён в РВСН и 12 апреля 1972 года назначен Главнокомандующим Ракетными войсками стратегического назначения. В 1983 году ему было присвоено воинское звание Главный маршал артиллерии. Это единственный случай, когда такое звание было присвоено лицу, имевшему до этого звание «генерал армии», все остальные главные маршалы родов войск ранее имели звание маршала данного рода войск. Деятельность Толубко на посту Главнокомандующего РВСН оценивается большинством военных специалистов позитивно.

10 июля 1985 года освобождён от занимаемой должности и назначен генеральным инспектором Группы Генеральных инспекторов Министерства обороны СССР.
Жил в Москве.

Скончался 17 июня 1989 года. Похоронен на Новодевичьем кладбище Москвы.