Дворянский и графский род Завадовских был известен с середины XVII века, когда основатель рода польский дворянин Яков Завадовский поступил на службу к русскому царю Михаилу Феодоровичу и переселился в Малороссию.
Отец Петра Васильевича Завадовского был небогатым помещиком Стародубского уезда Черниговской губернии. Кроме Петра, у него было еще два сына: Яков, ставший бригадиром и председателем Новгород-Северской гражданской палаты, и Илья, дослужившийся до чина статского советника.
Пётр Васильевич Завадовский получил хорошее образование в иезуитском училище, а затем в Киевской духовной академии. Начал он свою службу вместе с Безбородко в канцелярии малороссийского губернатора графа П. А. Румянцева (Задунайского). После встречи с императрицей и представления ей Завадовского в 1775 году генерал-фельдмаршал, граф П. А. Румянцев рекомендовал Екатерине II, по её просьбе, для Кабинета Ея Величества Петра Завадовского и Александра Безбородко. Императрица особо выделила своим вниманием Завадовского, красивого, хорошо воспитанного, образованного и скромного молодого человека Она подарила ему бриллиантовый перстень со своим именем и назначила своим статс-секретарём, но скоро пожаловала ему чин генерал-майора и звание генерал-адъютанта Ея Величества и сделала его своим фаворитом. Когда Потёмкин в апреле 1776 года вернулся во дворец после ревизии Новгородской губернии, он обнаружил, что Завадовский уже поселён в его бывших апартаментах.
Пётр Васильевич искренно и глубоко полюбил Екатерину, ревновал её, страдал, навязчиво стремился выяснить с ней отношения, постоянно объяснялся ей в любви. Екатерину, занятую многими делами (в 1775 году она писала Наказ, несколько раз, принимая советы Потёмкина и других, переписывала его), его приставания стали просто раздражать. Это было против законов фаворитизма, непонятно Екатерине и потому вызвало обратную реакцию — полное к нему охлаждение. Г. А. Потёмкин, скрывая ревность, тоже показывал, что не понимает такого немужского поведения, и способствовал охлаждению Екатерины к Завадовскому, что ускорило отставку фаворита как неделового человека Императрица наградила Петра Васильевича Завадовского «за верную службу» поместьями в Черниговской и Могилёвской губерниях, отдалила его от себя, но, зная покладистый характер бывшего своего фаворита и искренние его чувства к ней, оставила его при дворе.
Пётр Завадовский, тосковавший по любимой женщине, отвергнутый ею, хотел доказать Екатерине, что он может быть деловым, может служить ей и своей родине честно и верно.
Дальнейшей карьере Петра Васильевича способствовал его верный друг Александр Андреевич Безбородко, бывший статс-секретарём Кабинета Екатерины II, а затем ставший канцлером Российской империи (I класс Табели о рангах), а кроме того, милостивое к Завадовскому отношение императрицы Екатерины II, а затем императора Павла I.
Воцарившийся на русском престоле Павел I покровительствовал всем обиженным его матерью, а потому и Петру Васильевичу Завадовскому уделил особо милостивое внимание: он возвёл его в графское Российской империи достоинство, наградил орденом Св. Андрея Первозванного, назначил главным директором Дворянского и Заёмного банков и поручил руководить медицинской частью и женскими учебными заведениями. Кроме того, Завадовский должен был продолжать свою деятельность сенатора.
Переменчивость характера императора Павла, его вспыльчивость и непродуманные скоропалительные решения о наказании подданного, не угодившего ему, в 1800 году коснулись и графа Завадовского: он попал в опалу.
Завадовский уехал из столицы и поселился в своём имении Ляличи, в роскошном дворце, построенном по проекту Кваренги и подаренном ему Екатериной II.
Александр I чуть ли не в день своего воцарения на престоле вспомнил о графе Завадовском, вызвал его в Петербург и назначил председателем Комиссии составления актов. В 1802 году император, преобразовавший коллегии в министерства, назначил графа Завадовского министром народного просвещения и в соответствии с должностью присвоил ему чин действительного тайного советника (II класс Табели о рангах).
Вот что писал о министре графе Завадовском лично знакомый и сотрудничавший с ним Адам Чарторыйский: «Граф Завадовский был назначен министром народного просвещения. Он служил секретарём у графа Румянцева в одно время с Безбородко, своим закадычным другом Граф Румянцев представил их обоих, как секретарей, императрице Екатерине, что положило начало их блестящей карьере. Безбородко выдвинулся вскоре своей работоспособностью и сообразительностью; он пользовался неизменным доверием государыни и достиг высших должностей в империи. Сознавая свое собственное достоинство, он был единственным человеком, не кадившим фаворитам и державшимся на высоте, благодаря личным заслугам Завадовский добился того же, но другим путем. Он стал фаворитом Екатерины и привязался к ней до такой степени, что, лишившись через полгода ее расположения, почувствовал себя глубоко несчастным Его друзья, Воронцов и Безбородко, советовали ему философски отнестись к своему положению. В утешение он получил от императрицы подарки, на которые она не скупилась для своих бывших фаворитов. На этот раз подарки ее были особенно значительны, так как, помимо своего личного расположения, она многим была обязана Завадовскому. Впоследствии он женился, но продолжал быть в милости при дворе. В министерство народного просвещения он был приглашен благодаря своему другу, графу Воронцову, а также и потому, что между старыми вельможами он прослыл за знатока русского правописания, и многие манифесты времен Екатерины принадлежали его перу. Это знание создало ему положение и репутацию ученого.
Завадовский был добрым и справедливым человеком, но тяжеловесным и неповоротливым, как по уму, так и по внешнему виду, не отличался быстротой соображения и не умел схватывать оттенков дела; между своими современниками, не желавшими ничему научиться и ничего забыть, он выделялся своим сочувствием новым идеям и вводимым улучшениям. Это не мешало ему в высшей степени обладать отличительной чертой каждого русского администратора безграничной преданностью и полным преклонением перед тем, что исходит свыше. Он приходил в восторг от чтения классических авторов и с удовольствием цитировал отрывки из них, удержавшиеся в памяти. Русская литература его тоже сильно интересовала По странной случайности он получил образование и изучил латинский язык в польской иезуитской коллегии. Он не забывал польского языка и рисовался этим, говоря с восхищением о нашем старинном поэте Яне Кохановском, из сочинений которого он знал несколько отрывков наизусть. Благодаря этому он питал особую любовь ко всему польскому, выражавшуюся даже в мелочах, хотя бы в том, например, что на его обедах всегда подавались польские кушанья.
В то время как другие попечители часто встречали сопротивление своим действиям со стороны министров, не всегда расположенных уступать новым веяниям реформы и прогресса, я, со своей стороны, не могу ни на что пожаловаться, так как пользовался полным доверием графа Завадовского. Достаточно было с моей стороны малейшего предположения, чтобы он тотчас же поддержал меня с полной готовностью. Я ему крайне обязан за его снисходительность, откровенность и дружбу, которыми он меня постоянно дарил».
Пётр Васильевич Завадовский, бывший фаворит Екатерины II, стал первым министром народного просвещения в Российской империи. На этом посту он развернул широкую деятельность, проявив себя талантливым организатором и руководителем. При нём были открыты Казанский, Харьковский и Дерптский университеты, Главный педагогический институт, много средних и низших училищ. Тогда же был составлен цензурный устав, отличавшийся либеральной направленностью. И всё это было сделано всего за восемь лет службы Завадовского на посту министра народного просвещения. В 1810 году Александр I, освободив Завадовского, которому в ту пору шёл уже восьмой десяток лет, от должности министра, назначил его на почётный пост председателя Департамента законов Государственного совета.
Действительный тайный советник, сенатор, член Государственного совета, фаворит Екатерины II с апреля 1776 по май 1777 года, граф Пётр Васильевич Завадовский скончался 10 января 1812 года в Санкт-Петербурге и был похоронен с почестями на Лазаревском кладбище Александро-Невской лавры. Всей своей деятельностью после отставки его как фаворита он сумел доказать, что он не «неделовой человек», а подлинно государственный муж.
Потёмкин с первого же дня возвышения Завадовского при дворе начал искать ему замену. Но подходящих кандидатур не было. Наконец, к нему в армию прибыл 39-летний герой-кавалерист, красивой южнославянской наружности, серб по происхождению, — Семён Гаврилович Зорич (1738-?). Он был всего на девять лет моложе Екатерины II, но являл собой образец мужчины в полном расцвете сил и красоты.
Светлейший князь взял его к себе в адъютанты и почти сразу же представил к назначению командиром лейб-гусарского эскадрона. Это назначение не было случайным: лейб-гусары являлись личной охраной императрицы, и чтобы Зорич в этом звании был утверждён, необходимо было его представить лично Екатерине II.
В мае 1777 года Потёмкин испросил у императрицы аудиенцию для представления Зорича. После беседы с Зоричем Екатерина предоставила Завадовскому отпуск на полгода. Это был знак, что Зорич воспринят императрицей как её потенциальный фаворит. И действительно, по удалении Завадовского Зорич был пожалован в полковники, затем во флигель-адъютанты и шефы лейб-гусарского эскадрона.
Став фаворитом, Семён Зорич уже в сентябре 1777 года получил чин генерал-майора, а через год — титул графа.
После образованного, воспитанного графа Завадовского Зорич, не получивший почти никакого образования, да к тому же и не желавший учиться, не мог долго продержаться в фаворитах, потому что Екатерине нужен был не только любовник, но советник, верный друг с государственным мышлением Екатерина пыталась приобщить своего фаворита к наукам, привить ему по крайней мере эстетические вкусы, но всё было напрасно. Зорич ушёл на войну в 15 лет и с тех пор никакими науками не занимался и никаких книг не читал. Его закоснелый ум не воспринимал знаний и даже противился им И Зорич не скрывал своего невежества, считая, что главное не в науках. К тому же он был упрям и чрезмерно горд. Когда Екатерина возвела его в графское Российской империи достоинство, Зорич не только не был ей за это благодарен как человек вообще безродный, но он еще обиделся на неё: почему она не дала ему титул князя.