После падения Меншикова на князя Ивана и его родственников посыпались всякие благодеяния и милости со стороны Петра II. Фаворит князь Иван Алексеевич Долгоруков был пожалован в обер-камергеры Высочайшего двора (в те времена — высшее придворное звание) и возведён в чин майора Преображенского полка, что в гвардейских полках равнялось чину армейского генерала. Двор признал в нём фаворита и по закону фаворитизма стал раболепствовать перед ним. Каждый хотел, чтобы князь Иван походатайствовал о нём или о его родственниках перед императором. И, как водится, за эти услуги несли фавориту деньги и дорогие подарки. Иностранные послы и посланники, понимая, какое значение в стране имеет фаворит императорской особы, тоже угодничали перед князем Иваном Долгоруковым, что еще больше прибавляло ему высокомерия и спеси.
После ссылки Меншикова и его семьи Долгоруковым удалось уговорить Петра II обручиться с княжной Екатериной Алексеевной Долгоруковой. Илшератора и его Высочайший двор убедили, что, несмотря на прошлое обручение с княжной Марией, это новое обручение вполне законно, потому что ссыльная девушка не может быть невестой российского императора, тем более что пришло известие о её смерти в начале 1729 года.
Летом 1729 года Иван Долгоруков познакомился с графиней Натальей Борисовной Шереметевой и впервые влюбился. Надо сказать, что графиня Наталья, дочь известного генерал-фельдмаршала, графа Бориса Петровича Шереметева, верного сподвижника Петра I, была на шесть лет моложе Ивана, хороша собой, скромна, образованна, воспитанна и несказанно влюблена в этого неумного и малообразованного ловеласа. К тому же по своему происхождению графиня была вполне достойной партией для князя Долгорукова. Князь Иван настолько был влюблён, что выбирал, каждую свободную минутку от общения с императором и мчался к ней на коне из долгоруковского имения Горенки в шереметевское Кусково. В конце 1729 года князь Иван с одобрения семьи сделал графине Шереметевой предложение, обручился с ней и стал её женихом.
Встретили новый 1730 год, и тут на Долгоруковых обрушилась большая беда заразился оспой и 19 января умер Пётр II.
Герцогиня Курляндская Анна Иоанновна уже 25 января 1730 года, то есть через шесть дней после смерти Петра II, была приглашена на престол Верховным тайным советом Она прибыла в Санкт-Петербург из Митавы в начале февраля 1730 года Уже 4 марта она издала манифест об упразднении Верховного тайного совета, члены которого, а среди них в первую очередь Долгоруковы, высказывались против её приглашения на престол, составляли «кондиции», уговаривали её их подписать. Еще до коронации её в Успенском соборе Московского Кремля (28 апреля 1730 г.), Анна Иоанновна начала осуществлять гонение на Долгоруковых, и стало ясно, что в первую очередь это коснётся бывшего фаворита.
Перед графиней Натальей Шереметевой встал вопрос выходить ли ей замуж за Ивана Долгорукова при такой мстительной политике императрицы? Её брат, граф Пётр Борисович Шереметев, предрекая тяготы будущего развития событий, уговаривал её отказаться от брака с Иваном, но она, любившая Ивана до самозабвения, до самопожертвования, согласилась на брак, и в первых числах апреля они обвенчались. Буквально через несколько дней после свадьбы, 9 апреля 1730 года, указом императрицы Анны Иоанновны князь Иван Алексеевич Долгоруков вместе со своей семьёй был сослан в свои деревни. На нескольких телегах и каретах, наполненных всякого рода пожитками, Долгоруковы двинулись в путь, но в пути они были задержаны, все пожитки и все ценности были у них конфискованы, а как только они с большими трудностями доехали, наконец, до долгоруковских Касимовских деревень, в июне этого же года им была объявлена воля императрицы — отправляться в ссылку в Берёзов, где недавно освободили место умерший Меншиков и его дочь Мария и куда был направлен также князь Алексей Григорьевич Долгоруков с семьёй.
Долгих девять лет прожили Долгоруковы, Иван и Наталья, в тяжелейших для них условиях, казавшихся ещё тяжелее после жизни свободной и богатой. Особенно тяжело было Наталье Борисовне: вскоре по приезде она забеременела, а муж стал проявлять по отношению к ней свой тяжёлый, капризный характер: он всё время был в угнетённом состоянии и, как говорится, не в духе.
Сначала режим содержания ссыльных был очень строгим. Выходить можно было только в церковь, которую собственноручно срубил Александр Данилович Меншиков, да на поклон к начальству. В 1731 году у них родился сын Михаил, и Наталье Борисовне прибавилось забот о новорожденном ребёнке. Пришлось отбросить благородную гордость и задабривать берёзовского воеводу Бобровского и пристава майора Петрова, которые прониклись к ним жалостью и стали делать ссыльным послабления.
Князь Иван не гнушался обществом местных жителей. Он подружился с офицерами местного полка, с духовенством, с некоторыми из местных обывателей и потихоньку стал приобщаться к прежней разгульной жизни. В частности, он завёл дружбу с тобольским таможенным подьячим Тишиным, с поручиком Овцыным и в компании с ними и с другими из местных находил удовольствие пить горькую. Под пьяную лавочку Иван откровенничал, хвастаясь своей прежней жизнью и, не стесняясь выражений, характеризуя Анну Иоанновну. А Тишин все эти россказни наматывал себе на ус. Считая себя вполне подходящей парой для красавицы-княжны Екатерины, подьячий Тишин, напившись пьяным, стал приставать к ней и в грубой форме заявил, что он хочет, чтобы она стала его сожительницей. Екатерина пожаловалась поручику Овцыну, а тот, недолго думая, избил Тишина. Тишин затаил злобу и написал сибирскому губернатору донос, в котором подробно описал все пьяные высказывания Ивана Алексеевича, особенно относительно императрицы Анны Иоанновны. Получив донос, губернатор послал в Берёзов капитана Сибирского гарнизона Ушакова с секретным предписанием проверить донос Тишина. Местные офицеры и обыватели, перед которыми пьяный князь Иван раскрывал свою душу, подтвердили обоснованность тишинского доноса.
В 1738 году Иван Алексеевич Долгоруков, вместе с его братьями и друзьями Бобровским, Петровым, Овцыным и многими другими берёзовскими обывателями, был увезён из Берёзова в Тобольск. Для Натальи Борисовны это был тяжелейший удар. Через несколько дней у неё родился их второй сын, Дмитрий. Наталья Борисовна перенесла во время ареста её любимого мужа и тех, кто пострадал из-за него, такой стресс, что её сын Дмитрий все свои 31 год, которые он прожил (ум 1769), страдал неизлечимой болезнью — нервным расстройством, а вместе с ним страдала и его мать Наталья Борисовна.
Но Иван Алексеевич не знал о рождении младшего сына: даже во время следствия он содержался в ручных и ножных кандалах и был прикован к стене. Слабый духом, как большинство высокомерных людей, он самим фактом ареста настолько был и нравственно, и физически ошеломлён и опустошён, что, пребывая в тяжёлом стрессовом состоянии, находился в полной прострации и даже не понимал, где он и что с ним происходит. Как все подобные ему люди, встретив опасность, Иван Долгоруков полностью сник, сдался и стал каяться во всех своих грехах, даже в тех, о которых его и не спрашивали. Он сам рассказал в подробностях всю историю создания подложной духовной грамоты, кто её составил, кто был инициатором идеи и кто подписал эту подложную духовную, подделав подпись Петра II. Даже его палачи были потрясены этим его признанием, его глупостью, навлекшей смерть не только на него, но и на его близких родственников. Ведь его никто не спрашивал об этом, а сама духовная была уничтожена Долгоруковыми сразу же, как только стало понятно, что она не будет принята во внимание, то есть девять лет тому назад. И никаких улик нет.
Бывший фаворит Петра II был перевезён в Новгород и 8 ноября 1739 года был колесован на Скудельническом поле, в версте от Новгорода.
Наталья Борисовна, мучаясь неизвестностью, послала императрице Анне Иоанновне прошение, в котором в слёзных выражениях молила её помиловать князя Ивана Алексеевича, если он жив, а если нет, то разрешить ей постричься в монастырь. Она получила ответ, что мужа её уже нет в живых, а ей милостиво разрешено вернуться в имение Шереметевых Кусково, к брату, Петру Борисовичу.
По мистическому стечению обстоятельств, Наталья Борисовна с двумя малолетними детьми, Михаилом и Дмитрием, прибыла в Москву 17 октября 1740 года, в день смерти императрицы Анны Иоанновны.
Княгиня Наталья Борисовна Долгорукова изменила своё решение сразу же уйти в монастырь. На руках у неё были малолетние дети, и она не имела материнского права покинуть их. И она стала жить для детей. Когда старший сын, князь Михаил Иванович (1731–1794), стал совершеннолетним, она в 1742 году определила его в лейб-гвардии Семёновский полк. Он дослужился до чина гвардейского капитана, затем уволился из гвардии и перешёл на службу в гражданское ведомство. Наталья Борисовна подыскала ему знатную и хорошую невесту, он женился. В 1764 году у него родился сын, которого в честь деда-фаворита назвали Иваном.
Своей честностью, вниманием к людям князь Михаил Иванович снискал такое уважение, что был избран почётным опекуном Воспитательного дома в Москве.
Пристроив сына, Наталья Борисовна взяла с собой младшего, больного Дмитрия, и в 1758 году уехала в Киев, во Фроловский женский монастырь, где постриглась под именем Нектарии, а в 1767 году приняла схиму. В 1769 году её сын Дмитрий, на здоровье которого отразилась трагедия семьи Долгоруковых, скончался.
Трагическая судьба графини Шереметевой привлекла внимание нескольких поэтов и писателей. Рылеев ей посвятил одну из своих «Дум», слепой поэт Козлов, друг княгини Зинаиды Волконской, написал поэму, темой которой была жизнь и любовь графини Натальи Борисовны Шереметевой, в замужестве Долгоруковой; было опубликовано несколько русских романов, в том числе и в XX веке, которые были посвящены трагической истории жизни княгини Долгоруковой.
Находясь в монастыре, княгиня Долгорукова написала о всех своих злоключениях «Записки Н.Б.Д.», которые были изданы Сувориным. Они представляют собой искреннюю душевную исповедь инокини Нектарии, бесхитростный рассказ о времени правления Анны Иоанновны, о страшной жестокости императрицы и её фаворита Бирона, о любви бесстрашной, способной на всепрощение и жертвы.