Первое время он служил в Тульской губчека, а потом в Тульском губотделе ОГПУ. В 1927 году Успенский был переведен на работу в Полномочное представительство ОГПУ по Уралу, где его назначили начальником экономического отдела ПП ОГПУ. На этом посту Успенский сумел отличиться в так называемом «Шахтинском деле». Организовал его полномочный представитель ОГПУ по Северному Кавказу Е. Евдокимов, в 1927 году доложивший лично Сталину о том, что в. городе Шахты действуют вредители. После этого доклада по прямому указанию Сталина в Шахтах была арестована большая группа старых специалистов, в том числе и иностранных, которых обвинили во вредительской деятельности на предприятиях угольной промышленности и цветной металлургии и создании контрреволюционной организации, действовавшей под руководством так называемого «Парижского центра». Успенский принимал в этом деле активное участие и в 1930 году «за разгром шахтинских вредителей в уральской металлургии, в угольной, медеплавильной и золото-платиновой промышленности» был награжден орденом Красного Знамени. Скорее всего, именно тогда на него и обратил внимание Н. Ежов, работавший в то время заведующим отделом кадров ЦК ВКП(б) и много сделавший для дальнейшего продвижения Успенского наверх.
В 1931 году Успенский был переведен в Москву, где работал в Полномочном представительстве ОГПУ по Московской области, а в июле 1934 года — стал вторым заместителем начальника УНКВД по Московской области. Двадцать девятого ноября 1935 года ему было присвоено специальное звание старшего майора госбезопасности, после чего он был назначен заместителем коменданта Московского Кремля по внутренней охране. Это назначение без протекции Н. Ежова состояться не могло, а значит, будущий нарком НКВД СССР зачислил Успенского в свою команду.
В феврале 1936 года Успенский был направлен в Западно-Сибирский край заместителем начальника краевого УНКВД. Но пробыл там недолго. В октябре 1936 года новым наркомом НКВД СССР становится Ежов, развернувший по распоряжению Сталина очередной этап «большого террора». Для выполнения указаний Сталина Ежову потребовались люди, способные выполнять деликатные поручения особой важности и не раз доказывавшие свою преданность. Одним из таких людей и был Успенский. Поэтому, когда в марте 1937 года, как «не обеспечивший чекистской работы по области», был снят с должности начальника УНКВД по Оренбургской области Н. Райский, на его место назначили Успенского. Перед назначением на новую должность Успенского принял сам Ежов, дав при встрече следующее напутствие:
«Не считаясь с жертвами, нанести полный оперативный удар по местным кадрам. Да, могут быть и случайности. Но лес рубят — щепки летят. Имей в виду, в практической работе органов НКВД это неизбежно. Главное, что требуется от тебя — это показать эффективность своей работы, хорошие результаты, блеснуть внушительной цифрой арестов».
Указания своего покровителя Успенский принял к безусловному исполнению. В результате за короткое время в Оренбурге было сфальсифицировано несколько громких дел, в том числе и о военизированной белогвардейской организации. И только по этому делу местными органами НКВД было арестовано несколько тысяч человек. Ежов был доволен успехами своего назначенца, и на состоявшемся в июне 1937 года Всесоюзном совещании руководства НКВД поставил его в пример другим. А уже в январе 1938 года Ежов назначает Успенского наркомом внутренних дел Украины.
Прибыв в Киев, Успенский заручается санкцией ЦК ВКП(б) на арест тридцати шести тысяч человек с вынесением им приговора во внесудебном порядке, то есть постановлением тройки при НКВД УССР. Надо ли говорить, что маховик репрессий на Украине после назначения Успенского завертелся в полную силу. Но в июле 1938 года первым заместителем Ежова был назначен Л. Берия. Опытный аппаратчик Ежов прекрасно понял, что его время подходит к концу. Как в свое время он уничтожил всех руководителей НКВД, занимавших свои посты при Г. Ягоде и готовивших первые московские процессы, так и Берия уберет его и его выдвиженцев. В августе 1938 года, когда в Москве собралась вторая сессия Верховного Совета СССР, Ежов пригласил к себе на дачу Успенского и другого своего любимчика — М. Литвина. За обедом, выпив, по обыкновению, немало водки, Ежов сказал своим фаворитам: «Мы свое дело сделали и теперь больше не нужны. От нас будут избавляться как от ненужных свидетелей».
Вернувшись в Киев, Успенский стал лихорадочно искать выход из создавшейся ситуации. Первым делом он решил выяснить возможность нелегального, вместе с семьей, перехода советско-польской границы. Но нелегально перейти границу оказалось невозможно. И тогда Успенский решил спасаться в одиночку, затерявшись на бескрайних просторах страны. С этой целью он приказал оперативно-техническому отделу своего наркомата изготовить пять комплектов фиктивных документов. Четыре комплекта он уничтожил, а один, на имя Шмашковича Ивана Лаврентьевича, оставил у себя.
Утром 14 ноября 1938 года Успенскому позвонил Ежов и сказал, что его вызывают в Москву. При этом он добавил: «Плохи твои дела», а в конце разговора заметил: «А в общем, ты сам смотри, как тебе ехать и куда именно ехать». Успенский сразу же понял, что в Москве его ждет арест, и решил немедленно бежать. В шесть часов вечера он вызвал машину, сообщив секретарю, что собирается съездить домой пообедать и заодно переодеться в штатское, так как вечером у него намечена встреча с агентом в городе. В девять часов вечера он вернулся в свой кабинет и продолжил работу. Наконец, в пять часов утра он покинул здание наркомата, сказав, что хочет прогуляться пешком. Больше его никто из работников наркомата не видел.
Когда на следующий день Успенский не появился на работе, в наркомате поднялся переполох. Позвонивший ему на квартиру секретарь узнал, что Успенский дома так и не появлялся. Было решено вскрыть кабинет наркома. Там на рабочем столе была обнаружена записка: «Ухожу из жизни. Труп ищите на берегу реки». Впавшие в панику подчиненные Успенского немедленно доложили о случившемся Ежову, а сами снарядили поисковую группу, в которую входили водолазы, на берег Днепра. Там, в кустах, была обнаружена одежда наркома, но его тело так и не было найдено.
Интересные воспоминания по поводу исчезновения Успенского оставил Н.С. Хрущев, в то время занимавший пост первого секретаря ЦК компартии Украины. Вот что он пишет:
«Звонит мне Сталин: «Есть показания на наркома внутренних дел Украины Успенского, и они у нас не вызывают сомнений». По телефону мне послышалось, что тот говорит об Усенко, комсомольском работнике. Сталин: «Можете арестовать его сами?» — «Можем, если будет поручено». — «Арестуйте!» Но когда он начал уточнять детали, я понял, что речь идет об Успенском. Не успел я положить трубку, Сталин опять звонит: «Насчет Успенского ничего не нужно делать. Мы это сами сделаем. Отзовем его в Москву и в пути арестуем». А я собирался ехать в Днепропетровск. Уехал. Успенского же отозвали в Москву. У меня имелось предчувствие, что он не поедет туда, потому что догадывается, что может быть арестован. И, уезжая, я сказал Коротченко, председателю Совнаркома Украины: «Ты позванивай якобы по делам Успенскому, понаблюдай за ним, ведь ты остаешься тут за меня». Утром приехал я в Днепропетровск, а мне туда звонит Берия. Именно Берия, а не Ежов: «Вот, ты там разъезжаешь, а твой Успенский сбежал». — «Как?» — «А вот так, сбежал, и все». Я срочно вернулся в Киев. Действительно, Успенского нигде нет. Потом, когда я опять был в Москве, Сталин сказал мне, что, видимо, Ежов его предупредил: «Ежов подслушал нас, когда я с вами разговаривал, и предупредил Успенского по телефону».
Как видно из воспоминаний Н. Хрущева, отличавшийся подозрительностью Сталин не поверил в самоубийство Успенского. По его личному распоряжению новый парком НКВД СССР Л. Берия (Ежов был снят с должности почти сразу же после исчезновения Успенского), организовал поиски «утопленника». В Москве был создан штаб по руководству поисками, а в областных управлениях НКВД — специальные розыскные группы. Фотографии Успенского были разосланы во все отделения милиции. Была арестована его жена, а за всеми родственниками, особенно за теми, кто проживал в Москве, было установлено постоянное наблюдение. В результате один из двоюродных братьев Успенского, работавший на железной дороге в Ногинске, обнаружив слежку и решив, что его скоро арестуют, покончил с собой.
Что касается Успенского, то он, оставив одежду на берегу Днепра, отправился на вокзал, где жена вручила ему купленный для него билет до Воронежа. Но до Воронежа он не доехал, а сошел с поезда в Курске, рассчитывая таким образом сбить преследователей со следа. Пробыв к Курске несколько дней, он отправился в Архангельск, надеясь устроиться там на работу. Но это ему не удалось, и он поехал в Калугу, а оттуда — в Москву, в надежде разыскать верных друзей, у которых можно затаиться. В Москве Успенский через справочное бюро узнал адрес некой М. Матсон, в прошлом его хорошей знакомой, и направился к ней. Но она приютить его не могла, поскольку сама, как жена репрессированного, жила г. Москве у чужих людей. Успенский уезжает в Тулу.
Впрочем, Матсон не бросила Успенского в беде. Когда в скором времени она получила в Наркомздраве назначение на работу в Муром заведующей родильным домом, то дала ему знать, что некоторое время он может пожить у нее. Успенский немедленно приезжает в Муром и поселяется у Матсон, которая выдает его за мужа, литературного деятеля, работающего на дому. У Матсон Успенский прожил до марта 1939 года, когда ее перевели на работу в Москву. Но за время работы в городской больно не она успела сделать для него фиктивную справку на подлинных бланках о том, что Шмашкович И.Л., заместитель директора школы по хозяйственной части, с 18 января по 19 марта 1939 года находился на лечении в Муромской больнице. С этой справкой Успенский отправляется на восток страны, надеясь обосноваться там. Побывав в Казани, Арзамасе и Свердловске, он едет в Челябинск в надежде устроиться на Миасских золотых приисках.