Иван Илларионович и Александра Кирилловна Воронцовы-Дашковы жили в роскошном особняке на Дворцовой набережной рядом с Зимним дворцом (ныне – Дворцовая наб., 30); здесь и родился Илларион Иванович. Он получил домашнее образование, затем учился за границей. В 1855 году поступил в Московский университет, но в связи с Крымской войной оставил учебу и вступил вольноопределяющимся в Конногвардейский полк, с 1858 года – корнет. В том же году добился перевода на Кавказ, участвовал в боевых действиях против горцев, состоял адъютантом, а затем командиром конвоя кавказского наместника князя А. И. Барятинского. В 1862 году произведен в ротмистры и назначен флигель-адъютантом Александра II.
В это время Илларион Воронцов-Дашков, по свидетельству его личного секретаря В. С. Кривенко, «близко сошелся с великим князем Александром Александровичем, и дружеские отношения с ним остались неизменны на всю жизнь». Аналогичное утверждение находим в воспоминаниях адъютанта цесаревича С. Д. Шереметева: «Граф Воронцов стоял совершенно вне интриг и всяческих соображений придворных петербургских сфер, его сильно не любивших, это самое и послужило поводом к сближению, перешедшему в дружбу. Небольшая разница лет и общность некоторых вкусов и взглядов помогали этому сближению. Цесаревичу было легко с Воронцовым, как бывает легко вообще с порядочным человеком, когда так много вокруг примеров совсем иного свойства. Цесаревич не был ослеплен Воронцовым и сознавал его недостатки, неизбежные каждому человеку, но нисколько не влиявшие на их отношения. История этой дружбы достойна полной известности, к чести обоих». Известно, что цесаревич и его жена, великая княгиня Мария Федоровна, неоднократно посещали дом Воронцовых-Дашковых на Английской набережной. Эти дружеские визиты продолжались и в годы царствования Александра III.
В 1865 году Илларион Иванович отправился на театр военных действий в Туркестан, где особенно отличился, командуя авангардом под Мирза-Арабабатом, а затем при взятии крепостей Ура-Тюбе и Джизак; за храбрость награжден орденом Св. Георгия IV степени. В 1866 году пожалован в генерал-майоры Свиты Е. И. В. и назначен помощником военного губернатора Туркестанской области.
По возвращении в Петербург генерал Воронцов-Дашков в 1867–1873 годах командовал лейб-гвардии Гусарским полком. По отзывам офицеров полка, их новый командир был «истый джентльмен, страстный спортсмен, благородный начальник, смело принимавший на себя ответственность за все, что происходило у него в полку, не сваливавший вины на подчиненных, не мелочный, не придирчивый, стоявший горой за своих. Готовый всегда откликнуться и помочь своим заступничеством, своим влиянием в высших кругах и своим, наконец, кредитом». В 1873 году назначен командиром бригады гвардейской кавалерии, а в следующем году – начальником штаба Гвардейского корпуса, которым командовал цесаревич Александр Александрович; в 1876 году произведен в генерал-лейтенанты. Во время Русско-турецкой войны 1877–1878 годов командовал кавалерией Рущукского отряда, в 1878–1881 годах был начальником 2-й гвардейской пехотной дивизии.
Жизнь молодых супругов Воронцовых-Дашковых была омрачена пожаром, который случился в их доме на Английской набережной в ночь с 5 на 6 ноября 1868 года. По свидетельству современника, «хозяева и слуги были в отсутствии. Пожар начался от оставшегося в камине огня. Выгорела половина всей трехэтажной внутренности каменного корпуса, расположенного на набережной Невы». Сильно пострадала западная половина особняка, в том числе Белый (Александровский) зал и Желтая гостиная, помещения первого этажа утратили отделку конца XVIII века. Восстановительные работы, которыми руководил академик архитектуры Л. Ф. Фонтана, были вчерне окончены уже в 1869 году.
После убийства Александра II народовольцами Воронцов-Дашков стал одним из основателей и главных деятелей тайного общества по борьбе с революционным движением – «Священной дружины». Уже в марте 1881 года он был назначен начальником охраны Александра III в Гатчине. С августа 1881 до мая 1897 года – министр Императорского двора и уделов, канцлер российских орденов. Помимо министерского поста Воронцов с июня 1881 года занимал должность главноуправляющего государственным коннозаводством. Это назначение особенно соответствовало склонности графа Иллариона Ивановича, владельца одного из самых лучших конных заводов в России – Ново-Томниковского. Он был вице-президентом Императорского скакового общества и президентом Императорского Петербургского рысистого общества.
На протяжении всего царствования Александра III Воронцов-Дашков пользовался особым доверием императорской семьи и был ближайшим другом императора. Его жена – подруга императрицы, молодое поколение Воронцовых накоротке с наследником Николаем Александровичем. В правительстве Воронцов представлял интересы либеральной бюрократии, был самостоятельно мыслящим и авторитетным государственным деятелем.
В начале царствования Николая II Воронцов-Дашков быстро утратил свое влияние. Молодому императору не нравился покровительственный тон министра Двора и Уделов, а граф, в свою очередь, был недоволен усилением вмешательства великих князей в государственные дела. В феврале 1905 года Воронцов-Дашков навсегда покинул Петербург. Он был назначен на пост кавказского наместника, главнокомандующего Кавказским военным округом и войскового наказного атамана Кавказских казачьих войск. Оценивая его деятельность на этом посту, С. Ю. Витте писал: «Быть может, он единственный из сановников на всю Россию… который пользуется всеобщим уважением и всеобщей симпатией… Это, может быть, единственный из начальников края, который в течение всей революции, в то время когда в Тифлисе ежедневно кого-нибудь убивали или в кого-нибудь кидали бомбу, спокойно ездил по городу как в коляске, так и верхом, и в течение всего этого времени на него не только не было сделано покушения, но даже никто никогда еще не оскорбил ни словом, ни жестом». И далее: «Он представляет собой в полном смысле слова русского благородного барина со всеми недостатками, присущими этому барству, но и со всеми его благородными и рыцарскими сторонами».
С началом Первой мировой войны Воронцова-Дашкова назначили главнокомандующим Кавказской армией, однако по состоянию здоровья участия в руководстве военными действиями не принимал. Скончался в Алупке 15 января 1916 года, похоронен в своем любимом имении Ново-Томниково. В домовой церкви в Петербурге на Английской набережной были совершены две панихиды, на которых присутствовали Николай II с императрицей Александрой Федоровной, великие князья Николай Михайлович и Сергей Михайлович. «Воронцов-Дашков умер за год до Февральской революции, и ему не пришлось стать свидетелем крушения монархии, – пишет современный историк Д. И. Исмаил-Заде, – в этом заложен большой философский смысл, ибо он принадлежал этой монархии и логически не должен был пережить ее».
Последняя хозяйка дома на набережной – Елизавета Андреевна Воронцова-Дашкова (Лили) – носила придворное звание статс-дамы. Современники оставили довольно противоречивые свидетельства о супруге Иллариона Ивановича. Одни пишут о ее властном «надменном, необщительном характере», другие утверждают, что это была «симпатичная личность, совершенно не гордящаяся своим положением… прекрасная мать семейства, приятная своими женскими качествами». Дом Воронцовых-Дашковых на Английской набережной считался одним из самых открытых, здесь собирался «весь Петербург». Среди постоянных посетителей чаще других упоминаются Белосельские, Кочубеи, Трубецкие, Лобановы-Ростовские, великие князья, императрица Мария Федоровна. Супруги владели прекрасной картинной галереей, коллекцией фамильного серебра, хрусталя и фарфора, большой домашней библиотекой.
Воронцов-Дашков и его жена принадлежали к числу крупнейших помещиков России. Собственное состояние графа Иллариона Ивановича было приумножено Елизаветой Андреевной, ставшей одной из основных наследниц майоратных владений князя М. С. Воронцова (по материнской линии) и имущества своих братьев Шуваловых (по отцовской линии). Земельные владения Воронцовых-Дашковых достигали 485 тысяч десятин. Елизавета Андреевна владела также Юго-Камским железоделательным заводом. Все восемь детей Воронцовых выросли в родительском доме на Английской набережной: Иван (1868–1897), полковник лейб-гвардии Гусарского полка; Александра (1869–1959); Софья (1870–1953); Мария (1871–1927); Ирина (1872–1959); Роман (1874–1893), гардемарин; Илларион (1877–1932), ротмистр лейб-гвардии Гусарского полка; Александр (1881–1938), полковник лейб-гвардии Гусарского полка. Они породнились с известнейшими аристократическими фамилиями – Орловыми, Демидовыми (Сан-Донато), Шереметевыми, Мусиными-Пушкиными, Нарышкиными, Чавчавадзе. Домовая церковь Св. Власия была всегда к услугам близких, где они венчали своих детей.
В 1913 году, когда Илларион Иванович служил кавказским наместником и уже восемь лет постоянно жил в Тифлисе, Елизавета Андреевна покупает дом на Английской набережной у своего мужа, чтобы присоединить его к майорату Воронцовых. Дом с надворными постройками и землей, на которой он расположен, оценили тогда в сумму более 900 тысяч рублей. Определенный доход приносила сдача квартир в дворовых флигелях и корпусе по Галерной улице. (Например, одна из квартир в доме по Галерной с 1874 года сдавалась действительному статскому советнику И. В. Штрому.)
После Октябрьской революции 1917 года графиня Е. А. Воронцова-Дашкова была вынуждена покинуть Россию. Она умерла в 1924 году в Германии и похоронена в Висбадене. В изгнании закончилась жизнь большинства ее детей и внуков. В наши дни в США живет семья профессора русской литературы Александра Илларионовича Воронцова-Дашкова – внука младшего сына последних владельцев дома на Английской набережной. В 1999 году у его сына Иллариона родился сын Александр – продолжатель знаменитого воронцовского рода по мужской линии.
В годы советской власти особняк на Английской набережной (в 1918–1994 гг. – наб. Красного Флота) национализировали, и в разные годы он поступал в распоряжение самых различных организаций, среди которых Петроградский комитет РКСМ, Петроградский штаб пионерской организации, Институт физкультуры Петроградского военного округа и Конный спортклуб, контора Всесоюзного объединения по экспорту «Антиквариат» и ЛО Всесоюзной торговой палаты, сектор иностранной техники областного Дома техники и Музей Внешторга, светокопировальная мастерская Института огнеупоров и строительная контора Треста учрежденческих домов, домохозяйство № 23 Треста нежилого фонда, Межотраслевое гос. объединение (МГО) «Технохим» и акционерный банк МГО «Технохим», и т. д. Разумеется, частая смена арендаторов не шла на пользу зданию, которое Постановлением СМ РСФСР № 1327 от 30 августа 1960 года и Указом Президента РФ № 17 от 20 февраля 1995 года получило статус памятника истории и культуры федерального значения. В настоящее время ОАО «Талион» осуществляет проект его комплексной реставрации и реновации.