Родился 8 ноября 1924 года в деревне Язово Крестинской волости Калачинского уезда Омской губернии в крестьянской семье.

Участник Великой Отечественной войны. С июля 1942 года по май 1945 года— командир взвода на Волховском и Ленинградском фронтах.

После окончания Великой Отечественной войны Дмитрий Тимофеевич Язов — слушатель курсов усовершенствования офицеров пехоты Ленинградского военного округа, командир роты, заместитель командира мотострелкового батальона, командир мотострелкового батальона, начальник полковой школы, старший офицер управления боевой подготовки округа. С августа 1961 года — командир мотострелкового полка.
В период карибского кризиса командовал отдельным мотострелковым полком на Кубе. С декабря 1963 года — заместитель, с июня 1964 года — начальник отдела планирования управления боевой подготовки военного округа.

С октября 1967 года — командир мотострелковой дивизии, с марта 1971 года — командир армейского корпуса, с января 1973 года — командующий армией.

С мая 1974 года — начальник управления Главного управления кадров Министерства обороны, с октября 1976 года — первый заместитель командующего войсками Дальневосточного военного округа, с января 1979 года — командующий Центральной группой войск и с февраля 1979 года — Уполномоченный правительства СССР по делам пребывания советских войск в Чехословацкой Социалистической Республике.
С ноября 1980 года — командующий войсками Среднеазиатского, а с июня 1984 года — Дальневосточного военных округов. С января 1987 года — заместитель министра обороны СССР по кадрам, начальник Главного управления кадров Министерства обороны СССР. 

С мая 1987 года по август 1991 года Дмитрий Тимофеевич Язов — министр обороны СССР. В этот период под его руководством была проведена большая работа по повышению боеспособности Вооруженных Сил, осуществлен организованный вывод советских войск с территории Афганистана. В 1990 году Язову присвоено звание Маршала Советского Союза.