В 1751 году хозяйкой числилась его вдова (М. А. Салтыкова), а после ее смерти участок перешел к их сыну — Сергею Васильевичу Салтыкову. Из архивных документов известно, что здание тогда имело двадцать четыре жилых помещения.
В 1760-х годах дом принадлежал сенатору, генерал-поручику и рижскому генерал-губернатору Николаю Ерофеевичу Муравьеву. Новый хозяин окончил Сухопутный шляхетский кадетский корпус — привилегированное учебное заведение для дворян, и как лучший ученик был оставлен там преподавателем фортификаций. Стал автором одного из первых учебников по математике. В 1764 году назначен руководить строительством государственных дорог. Лифляндское дворянство приняло его род в число родов ливонского рыцарства.
В 1770 году Николай Ерофеевич уехал для лечения за границу и там скончался. В этом же году Анна Андреевна, вдова Н. Е. Муравьева, сдала дом внаем английскому трактирщику Фразеру.
В газете тех лет можно было прочесть следующее сообщение: «У английского трактирщика Фразера, близ Галерного двора, продаются привезенные сюда из Англии в 12 дней устерсы [устрицы]. Оные находятся в гальоне, который стоит у берега против его дому…»
Анна Андреевна вышла замуж за князя Александра Васильевича Урусова и в 1779 году продала дом генерал-поручику барону Александру Николаевичу Строганову. С этого времени наступил новый период в жизни особняка, связанный с творчеством замечательного русского архитектора Андрея Никифоровича Воронихина.
Выходцы из купцов древнего Новгорода, Строгановы, оказались среди самых известных фамилий России. Началось их возвышение, когда один из Строгановых выкупил из казанского плена великого князя Василия Васильевича Темного. С той поры московские князья ценили Строгановых и предоставляли им невиданные преимущества в торговле и промышленности. При Петре I основное богатство рода сосредоточилось в руках Григория Ивановича Строганова. У него было три сына: Александр, Николай и Сергей. Николай, крестник Петра I, имел сына Александра, с которым подолгу жил в Сибири. Как писал В. П. Старк, «в Соликамске в 1760 году у Александра Николаевича и пермячки Марфы Федоровны Чароевой родился сын Андрей, приписанный вскоре за конторским служителем Никифором Степановичем Воронихиным. Таковым считается происхождение великого русского зодчего Андрея Никифоровича Воронихина».
Известно, что Строгановы принимали самое непосредственное участие в воспитании и образовании А. Н. Воронихина, поддерживали его как художника и архитектора. Выбор Воронихина в качестве архитектора своего дома был для А. Н. Строганова естествен.
Андрей Никифорович взялся за работу весьма основательно: полностью переделал фасад дома и осуществил внутренние перестройки в главном здании. На втором этаже он создал анфиладу парадных гостиных окнами на Неву, на первом, как и полагалось, расположил жилые покои хозяев.
По каким-то причинам Александр Николаевич Строганов не стал жить в обновленном доме. В июле 1800 года он продал особняк Александре Григорьевне Лаваль.
От матери, происходившей из семьи богатейших купцов Мясниковых, Александра Григорьевна унаследовала природный ум и твердую волю. К тому же она получила прекрасное образование и воспитание. Ее отец, Григорий Васильевич Козицкий, был в числе самых образованных людей XVIII века: окончил академию в Киеве, затем Лейпцигский университет, в совершенстве владел древними языками. Он стоял у истоков университетского образования в России: по приглашению М. В. Ломоносова с 1756 года читал курс лекций по философии, латинскому и греческому языкам в Академии наук. В 1766 году Г. В. Козицкий избран ее почетным членом. Ему поручили разбор, описание и систематизацию архива умершего Ломоносова. С 1768 года он фактически возглавлял «Собрание, старающееся о переводе иностранных книг» при Академии наук. За шесть лет Собранием было переведено 112 книг, среди которых произведения Вольтера, Руссо, Монтескье. Самим Козицким осуществлены переводы Овидия, Лукиана, Мосха, Свифта и других авторов. Исполняя при Екатерине II роль статс-секретаря по приему челобитных, Козицкий неоднократно пытался доказать императрице необходимость реформ, которые облегчили бы тяжелое положение крестьян в России, чем и вызывал ее раздражение. Она стала искать повод для удаления неугодного секретаря. И вскоре такой повод нашелся — Г. В. Козицкий написал стихи в честь создания Чесменской колонны в Царском Селе и не упомянул в них Екатерину II. Стихи, конечно же, не понравились, и Козицкий был уволен. Не выдержав обрушившихся на него невзгод, он впал в тяжелую депрессию и покончил жизнь самоубийством.
Дочь Козицкого — Александра Григорьевна — унаследовала от отца-просветителя интерес к знаниям. Часто и подолгу путешествуя за границей, она встречалась со многими выдающимися людьми. Познакомилась и подружилась она с баронессой Сталь фон Гольштейн — известной французской писательницей госпожой де Сталь. Ум, энергия, взгляды этой незаурядной женщины, ее талант покорили Александру Григорьевну.
Свою же независимость и решительность характера Александра Козицкая проявила, когда, полюбив учителя Морского кадетского корпуса, француза Лаваля, решила выйти за него замуж. Мать восстала против этого брака. Однако Александра Григорьевна не отступила: она подала Павлу I челобитную на свою мать. Павел потребовал объяснений. Старшая Козицкая привела следующую мотивировку отказа: «Во-первых, Лаваль не нашей веры, во-вторых, никто не знает, откуда он, в-третьих, чин у него не больно велик». Павел отвечал на это: «Во-первых, он христианин, во-вторых, его знаю Я, а в-третьих, для Козицкой чин достаточен, а поэтому — обвенчать!»
Повеление императора было исполнено: молодых обвенчали. Иван Степанович (Жан-Франсуа) Лаваль взял за женой солидное приданое, в том числе и Воскресенский завод на Урале. К тому же под высочайшим покровительством он быстро пошел в гору. Сын виноторговца, каким-то образом удостоенного графского титула, приехал в Россию делать карьеру. Он правильно рассчитал: достаточно быть французом, чтобы многого достичь в России. И Лаваль получил здесь звание церемониймейстера, орден Святого Александра Невского и чин действительного тайного советника.
Лавали отлично понимали, что не могут похвастаться родовитостью и относятся к той части общества, которая должна завоевывать положение в свете только своим богатством и благодаря собственной энергии. И поэтому немалую роль они отводили тем пышным празднествам, которые задумали устраивать в доме. Это требовало и соответствующей обстановки.
Для осуществления переделок в особняке Лавали пригласили модного французского архитектора, создателя ансамбля стрелки Васильевского острова Жана Франсуа Тома де Томона. В период с 1806 по 1809 год он заново оформил фасад главного дома и, оставив в неприкосновенности воронихинскую планировку помещений, полностью изменил их декор.
Дом был достроен так, как ранее планировал его Воронихин: на втором этаже появился зал для празднеств и рядом гостиная, на первом этаже — жилые комнаты. Фасад архитектор выполнил в стиле классицизма, декорировав его колоннадой. Колонны, объединяющие окна второго и третьего этажа, он расположил на небольшом ризалите первого этажа. В боковых частях здания Тома де Томон использовал мотив трехчастных окон с низкими треугольными сандриками над ними, выше (над сандриками) в неглубоких нишах разместил два скульптурных панно на мифологические темы. Центральную часть и боковые крылья фасада архитектор украсил балконами, а вход в здание — фигурами львов, выполненных по рисункам А. Н. Воронихина (точно такие же скульптуры львов установлены у фонтана-грота на склоне Пулковской горы).
Тома де Томон оставил без изменения флигели и постройки на протяжении всего участка от главного дома до Галерной улицы. Более того, новые пристройки к главному дому он произвел там же, где их планировал А. Н. Воронихин. (Видимо, Тома де Томон, воплощая чужой замысел, не считал эту работу полностью своей, и, думается, именно поэтому в альбоме основных работ, составленном им лично и изданном за границей, этот дом отсутствует.)
Эффектна внутренняя планировка особняка. Оставив без изменения воронихинский вестибюль, Тома де Томон чрезвычайно интересно решил лестничный интерьер, оформив его в виде ротонды, декорированной колоннами искусственного мрамора, имитирующего гранит. Сверху помещение перекрыто сферическим куполом, украшенным лепными розетками. Широкий живописный фриз, впоследствии утраченный, опоясывал барабан купола. Стены лестничного интерьера покрывала живопись. Сардинский посланник в Петербурге Жозеф де Местр писал французскому графу Пьеру Луи де Бланка, что дворец, который Лаваль целиком переделала, великолепен, а «гранитная лестница является, вероятно, самой красивой в Петербурге. Это лучшее произведение нашего друга Тома де Томона».
Высота парадных залов второго этажа была увеличена за счет уменьшения высоты третьего. Интерьеры парадных гостиных второго этажа, боковых анфилад Тома де Томон выполнил с большим вкусом. Окраска стен в помещениях постепенно менялась от сдержанных светлых тонов к интенсивным, насыщенным, достигая наивысшего эффекта в последних залах, окрашенных в ярко-красный цвет и малиновый с золотом. Самое дальнее помещение с окнами на Неву, бывший зал классических древностей, Тома де Томон перекрыл полуциркульным сводом, торцы и фриз расписал гризайлью.
С художественным оформлением помещений хорошо гармонировала мебель. В мраморном зале была светлая мебель, обитая пурпурным шелком, и тяжелые, такого же цвета занавеси на окнах. В желтой комнате мебель, в том числе и стоявший здесь рояль, были выдержаны в серебристых тонах. Простенки закрывались зеркалами. Во всех гостиных — наборные полы из ценных пород дерева.
Разглядывая окна особняка с набережной, молодой Тарас Григорьевич Шевченко невольно задерживал шаг; позднее он писал: «В зимние длинные ночи этот дом освещался изнутри, и красные занавеси как огонь горели на темном фоне, и мне всегда досадно было, что Нева покрыта льдом и снегом и декорация теряет свой настоящий эффект».