Представитель древнего рода Румянцевых. По одной из версий, родился в селе Строенцы (ныне в Приднестровье), где его мать, графиня Мария Андреевна Румянцева (в девичестве — Матвеева), временно проживала, ожидая возвращения мужа генерал-аншефа А. И. Румянцева, ездившего в Турцию по поручению царя Петра I (в честь которого и был назван).
В некоторых биографиях полководца эту версию называют легендарной, а местом рождения полководца указывается Москва. Его дедом по материнской линии был известный государственный деятель А. С. Матвеев. Мария Андреевна Матвеева, по свидетельствам ряда современников, была любовницей Петра I. Крестной матерью будущего полководца стала императрица Екатерина I.
В десятилетнем возрасте был записан рядовым в лейб-гвардии в Преображенский полк. До 14 лет жил в Малороссии и получал домашнее образование под руководством своего отца, а также местного педагога Тимофея Михайловича Сенютовича. В 1739 году назначен на дипломатическую службу и зачислен в состав русского посольства в Берлине. Оказавшись за границей стал вести разгульный образ жизни, поэтому уже в 1740 году за «мотовство, леность и забиячество» был отозван и зачислен в Сухопутный шляхетский корпус.
Императрица Елизавета Петровна при получении этого донесения произвела юношу сразу в полковники и назначила командиром Воронежского пехотного полка. Также в 1744 году она возвела его отца —генерал-аншефа и дипломата Александра Ивановича Румянцева, — принимавшего участие в составлении договора, в графское достоинство вместе с потомством. Таким образом, Пётр Александрович стал графом.
Однако, несмотря на это он продолжал весёлую жизнь так, что его отец писал: «мне пришло до того: или уши свои зашить и худых дел ваших не слышать, или отречься от вас…». В этот период Румянцев женился на княжне Е. М. Голицыной.
В 1748 году принимает участие в походе корпуса Репнина на Рейн (в ходе войны за Австрийское наследство 1740—1748 годов). После смерти отца в 1749 году вступил во владение всей собственностью и избавился от легкомысленного поведения.
К началу Семилетней войны Румянцев имел уже чин генерал-майора. В составе русских войск под командованием С. Ф. Апраксина он в 1757 году прибыл в Курляндию. 19 августа отличился в сражении при Гросс-Егерсдорфе. Ему было поручено руководство резервом из четырёх пехотных полков — Гренадерского, Троицкого, Воронежского и Новгородского, — который располагался по другую сторону леса, окаймлявшего Егерсдорфское поле. Сражение продолжалось с переменным успехом, и когда русский правый фланг под ударами пруссаков начал отступать, Румянцев без приказа по собственной инициативе бросил свой свежий резерв против левого фланга прусской пехоты.
Участвовавший в этом сражении А. Т. Болотов позже писал об этом: «Сии свежие полки не стали долго медлить, но давши залп, с криком „ура“ бросились прямо на штыки против неприятелей, и сие решило нашу судьбу и произвело желаемую перемену». Таким образом, инициатива Румянцева обусловила перелом в битве и победу русских войск. Кампания 1757 года на этом завершилась и русская армия была отведена за Неман. В следующем году Румянцеву было присвоено звание генерал-поручика, и он возглавил дивизию.
В августе 1759 года Румянцев со своей дивизией участвовал в Кунерсдорфском сражении. Дивизия располагалась в центре русских позиций, на высоте Большой Шпиц. Именно она стала одним из главных объектов атаки прусских войск после смятия ими левого фланга русских. Дивизия Румянцева, однако, несмотря на сильный артиллерийский обстрел и натиск тяжёлой кавалерии Зейдлица (лучшие силы пруссаков), отбивала многочисленные атаки и перешла в штыковую контратаку, которую возглавил лично Румянцев.
Этот удар отбросил армию Фридриха, и она стала отступать, преследуемая кавалерией. Во время бегства Фридрих потерял свою треуголку, которая ныне хранится в Государственном Эрмитаже. Прусские войска понесли тяжёлые потери, в том числе была уничтожена кавалерия Зейдлица. Сражение при Кунерсдорфе выдвинуло Румянцева в число лучших командиров русской армии, за него он был награждён орденом Святого Александра Невского.
Последнее крупное событие Семилетней войны, в ходе которой ставка была сделана не на осаду и взятие крепостей как прежде, а на ведение скоростной маневренной войны. В будущем эта стратегия была блестяще развита великим русским полководцем Суворовым.
Вскоре после взятия Кольберга скончалась императрица Елизавета Петровна, и на трон вступил Пётр III, известный симпатиями к Пруссии и Фридриху II. Он вывел уже почти одержавшие полную победу над пруссаками русские войска и вернул прусскому королю завоёванные земли. Пётр III наградил П. А. Румянцева орденами Святой Анны и Андрея Первозванного и присвоил ему чин генерал-аншефа. Исследователи полагают, что император планировал поставить Румянцева на руководящее место в планируемом им походе на Данию.
В 1767 году была созвана в Москве комиссия для составления уложения. Различные классы малорусского народа также должны были послать в неё своих представителей. Политика Екатерины II, которую проводил Румянцев, заставляла опасаться, что в комиссии могут быть заявлены просьбы о сохранении малорусских привилегий; поэтому он тщательно следил за выборами и составлением наказов, вмешивался в них и требовал суровых мер, как это было, например, при выборе депутата от шляхетства в городе Нежине.
В 1768 году, когда вспыхнула турецкая война, был назначен командующим второй армией, которая призвана была только охранять русские границы от набегов крымских татар. Но вскоре императрица Екатерина, недовольная медлительностью князя А. М. Голицына, командовавшего 1-й действующей армией, и не зная, что ему удалось уже разбить турок и овладеть Хотином и Яссами, назначила на его место Румянцева.
Несмотря на свои сравнительно слабые силы и недостаток продовольствия, он решил действовать наступательно. Первая решительная битва произошла 7 июля 1770 года при Ларге, где Румянцев с 25-тысячным войском разбил 80-тысячный турецко-татарский корпус. За Ларгу императрица 27 июля 1770 года наградила генерал-аншефа графа Пётра Александровича Румянцева орденом Св. Георгия 1 степени.
Ещё более прославила его имя победа, одержанная им 21 июля над вдесятеро сильнейшим неприятелем при Кагуле и вознесшая Румянцева в ряд первых полководцев XVIII века. Чин генерал-фельдмаршала был наградой сего знаменитого подвига.
В 1774 году с 50-тысячным войском выступил против 150-тысячной турецкой армии, которая, избегая битвы, сосредоточилась на высотах у Шумлы. Румянцев с частью своего войска обошёл турецкий стан и отрезал визирю сообщение с Адрианополем, что вызвало в турецкой армии такую панику, что визирь принял все мирные условия.
Так 10 июля 1775 года был заключен Кучук-Кайнарджийский мир. Именно в этот день императрица Екатерина II, именным Высочайшим указом, повелела генерал-фельдмаршалу графу Петру Александровичу Румянцеву присоединить к фамилии его наименование «Задунайский» («для прославления опасного перехода его через Дунай») и именоваться графом Румянцевым-Задунайским; пожаловала грамоту с описанием его побед, фельдмаршальский жезл с алмазами («за разумное полководство»), шпагу с алмазами ("за храбрость предприятия"), лавровый и масленичный венки, украшенные алмазами («за победы»), и такой же крест и звезду ордена Андрея Первозванного; подарила деревню в Белоруссии в 5 тысяч душ, 100 тысяч рублей из кабинета на построение дома, серебряный сервиз и картины для убранства комнат. Также императрица увековечила победы Румянцева памятниками-обелисками в Царском Селе и в Санкт-Петербурге, предлагала ему «въехать в Москву на триумфальной колеснице сквозь торжественные ворота», но он отказался.
В феврале 1779 года указом императрицы Екатерины II Румянцев был назначен наместником Курского и Харьковского наместничеств, а также Малороссии. Граф руководил подготовкой открытия Курского и Харьковского наместничеств в 1779 — начале 1780 года, после вернулся в Малороссию и подготовлял постепенно введение в ней общерусских порядков, что и совершилось в 1782, с распространением на Малороссию российского административно-территориального деления и местного устройства. Пребывание Румянцева в Малороссии способствовало соединению в его руках громадных земельных богатств, которые отчасти были приобретены путём покупки, отчасти путём пожалования.
С началом в 1787 году новой русско-турецкой войны сильно располневший, малоподвижный Румянцев был назначен командовать 2-й армией при главнокомандующем князе Потёмкине, который управлял соседними с Малороссией землями — Новороссией. Это назначение глубоко оскорбило Румянцева, который не считал Потёмкина профессиональным военным. Как отмечает «Большая советская энциклопедия», он «вошёл в конфликт с главнокомандующим Г. А. Потемкиным и фактически устранился от командования», а «в 1794 номинально числился главнокомандующим армией, действовавшей против Польши, но по болезни не выезжал из имения».
Умер в деревне и в одиночестве. Похоронен в Киево-Печерской Лавре у левого клироса соборной церкви Успения, которая была взорвана во время Второй мировой войны.