Александр Дмитриевич Румянцев родился 30 декабря 1899 года в деревне Шуино Новгородской губернии в семье рабочих.

В феврале 1918 года был призван в ряды РККА, после чего служил красноармейцем в составе Новодеревенского отряда, затем 5-го Латышского полка и принимал участие в боевых действиях на Южном фронте против войск под командованием генерала А. И. Деникина.

В октябре 1919 года был ранен и находился на излечении в госпитале, после чего воевал на Петроградском фронте против войск под командованием генерала Н. Н. Юденича в качестве красноармейца и старшего разведчика, младшего командира, командира взвода.

В августе 1920 года был назначен на должность командира взвода 4-го Латышского полка Латышской стрелковой дивизии, после чего принимал участие в боевых действиях на Южном фронте против войск под командованием генералаП. Н. Врангеля.

В марте 1921 году был направлен на учёбу в Высшую тактическо-стрелковую школу командного состава РККА им. III Коминтерна, по окончании которой с сентября 1922 года служил в 25-й стрелковой дивизии на должностях командира взвода 73-го и 75-го стрелкового полков, помощника начальника и временно исполняющего должность начальника пулемётной команды 75-го стрелкового полка.

С декабря 1923 года служил в 21-м стрелковом полку (7-я стрелковая дивизия) на должностях помощника начальника пулеметной команды, командира взвода, роты, батальона.

В сентябре 1932 года был направлен на учёбу в Военную академию имени М. В. Фрунзе, по окончании которой в ноябре 1936 года был назначен на должность командира батальона курсантов в Объединённой военной школе имени ВЦИК в Москве, в ноябре 1937 года — на должность начальника Тамбовского пехотного училища, а в августе 1938 года — на должность начальника 1-го отдела Управления по командному и начальствующему составу РККА РККА. Принимал участие в боевых действиях в ходе советско-финской войны, за что был награждён орденом Красного Знамени.

В августе 1940 года был назначен на должность заместителя начальника, а в декабре — на должность начальника Управления кадров РККА.

В начале войны Александр Дмитриевич Румянцев находился на прежней должности. Одновременно с 4 мая 1942 по апрель 1943 года был заместителем Наркома обороны СССР по кадрам.

19 апреля 1943 года был назначен на должность командира 4-й гвардейской воздушно-десантной дивизии, которая во время Курской битвы вела оборонительные бои в районе города Поныри, а затем участвовала в ходе Черниговско-Припятской наступательной операции и освобождении города Прилуки, после чего вышла к Днепру.

11 октября 1943 года, за умелое форсирование реки Днепр, генерал-майор Румянцев был представлен командиром 18-го гвардейского стрелкового корпуса генерал-майором И.М. Афониным к званию Герой Советского Союза, однако командующий войсками 60-й армии генерал-лейтенант И.Д. Черняховский понизил статус награды до ордена ордена Суворова 2-й степени.

Вскоре дивизия принимала участие в ходе Киевской, Житомирско-Бердичевской, Уманско-Ботошанской и Ясско-Кишинёвской наступательных операций. 25 сентября 1944 года Румянцев был ранен, после чего был направлен на излечение в госпиталь.

После лечения 25 октября 1944 года был назначен на должность командира 51-го стрелкового корпуса, который принимал участие в ходе Дебреценской, Будапештской, Братиславо-Брновской и Пражской наступательных операций, а также в освобождении городов Сату-Маре, Ньиредьхаза, Зволен, Банска-Быстрица, Кремница и Превидза.

В июле 1945 года 51-й стрелковый корпус был расформирован.

В сентябре генерал-майор Александр Дмитриевич Румянцев был назначен на должность командира 35-го, а в мае 1946 года — на должность командира 128-го стрелковых корпусов.

В июне 1948 года был направлен на учёбу на высшие академические курсы при Высшей военной академии имени К. Е. Ворошилова, после окончания которых в июне 1949 года был назначен на должность командира 4-го гвардейского стрелкового корпуса. С декабря 1950 года состоял в распоряжении 10-го отдела 2-го Главного управления Генерального штаба Советской Армии.

В январе 1953 года был назначен на должность помощника командующего — начальника отдела боевой подготовки 38-й армии (Прикарпатский военный округ), в августе 1955 года — на должность 1-го заместителя командующего этой армией, а в июне 1957 года — на должность помощника командующего войсками Прибалтийского военного округа по военно-учебным заведениям.

Генерал-лейтенант Александр Дмитриевич Румянцев в марте 1959 года вышел в запас. Умер 18 сентября 1981 года в Риге.

Награжден двумя орденами Ленина, четырьмя орденами Красного Знамени, орденами Суворова, Кутузова и медалями.