Последние годы жизни Румянцев безвыездно жил в селе Ташаки Переяславского уезда Полтавской губернии. Отсюда он продолжал управлять Малороссией, бессменным наместником которой он был 32 года. Здесь он читал книги, которые он называл «мои учителя», здесь удил рыбу и принимал гостей. При дворе он не появлялся вовсе.
Сюда же в село в 1794 году с началом боевых действий в Польше прибыло извещение о назначении его главнокомандующим армией. Но фельдмаршал был уже стар. Он не выезжал на театр военных действий, а отдал приказ корпусным начальникам присоединить свои войска к корпусу Суворова, как к старшему по чину и после этого принимать и исполнять приказы Суворова.
В Ташаках его застало известие о смерти Екатерины. Вступивший на престол Павел пожелал видеть Румянцева. Но было уже поздно. 25 ноября 1796 года Румянцев почувствовал себя плохо. В начале декабря самочувствие его немного улучшилось. «4-го числа декабря по полуночи в 7 часов, он пил кофе с сухарями, отправляя свои письменные дела, и был очень бодр и весел, а в 9 часов параличный удар отнял у него язык и всю правую сторону тела». Следующие двое суток он пробыл в беспамятстве. «Все старания врачей спасти сего высокого больного и исторгнуть его из челюстей смерти», по словам очевидца, ни к чему не привели. 8 декабря 1796 года в 8 часов 45 минут, как было сказано в заключении о болезни, Петр Александрович Румянцев-Задунайский умер «самым тихим образом».
Узнав о смерти Румянцева, Павел приказал три дня носить траур, сказав: «Румянцев во время царствования отца и матери моих прославился в России более, чем Тюренн во Франции».
Фельдмаршал Румянцев, будучи крупным военачальником, значительно повлиял на развитие русского военного искусства: стратегия, тактика, военное администрирование – во все эти области военной мысли вложил он свои ум и талант. Своими победами он открыл фактически новый этап борьбы за возвращение России ей искони принадлежавших южных земель. Фактически мужеством его солдат стала возможна Новороссия. Он сделал так, что победы русского оружия на южных границах России перестали вызывать сомнение даже у самых закоренелых скептиков, коих не могли убедить даже многочисленные примеры предшествующих времен…