Когда Абакумов стал раскапывать дело о трофейных ценностях, то 8 сентября 1946 года Серов, который был во время войны представителем НКВД на фронте и в грабежах не отставал от других, написал письмо Сталину о том, что «в тяжелые дни войны Абакумов выбирал девушек легкого поведения, водил их в гостиницу “Москва”». 9 апреля 1947 года только что назначенный первым заместителем министра внутренних дел Серов со своим шефом, главой МВД СССР Кругловым, направил записку Абакумову, где говорилось о безобразном поведении и грубости работников Главного управления охраны МГБ, одетых в милицейскую форму и расставленных на наружных постах на центральных, прилегающих к Кремлю улицах и правительственных трассах.
Тогда Абакумов взялся серьезно проверять Серова. 28 января 1948 года он сообщил Сталину: «Бежанов дал показания о том, что Серов присваивал ценности и переправлял их в СССР». Бежанов рассказал о захваченных людьми Серова в Рейхсбанке при штурме Берлина мешках с деньгами. Германские рейхсмарки были пущены Серовым якобы на «оперативные расходы». В этом же письме Абакумов просил санкции на арест бывших начальников оперсекторов Саксонии и Берлина генералов С.А. Клепова и А.М. Сиднева и, помимо них, М.А. Хренкова — адъютанта Серова с ноября 1942 по август 1947 года. Сталин санкцию дал. 24 февраля 1948 года Абакумов направил Сталину, Молотову и Кузнецову новое письмо, к которому приложил протокол допроса арестованного Хренкова. «Должен сказать, что Серов, будучи человеком, падким к чужому добру, начал заниматься присвоением ценностей и имущества еще в период нахождения его в Польше», — говорил на следствии Хренков. В городе Лодзе имущество из особняка немецкого гауляйтера Серов отправил в Москву — целый вагон. Сопровождали вагон жена Серова и Хренков с бумагой от Серова о бестаможенном пропуске. В особняке гроссадмирала Редера в Бабельсберге по приказанию Серова Хренков выломал мраморный камин. Камин установили на московской квартире Серова. Захваченные в подвале Рейхсбанка мешки с деньгами не были оприходованы, Серов и Сиднев бесконтрольно тратили их содержимое. Абакумов просил у Сталина санкцию на арест Л.С. Никитина, другого адъютанта Серова. Еще один сотрудник Серова, В.М. Тужлов, его секретарь, уже был арестован. Тужлов сообщил следствию много интересного о Серове: «В сентябре или октябре 1946 года, когда оперативные секторы МВД Германии передавались в ведение МГБ, Серов затребовал к себе от Сиднева все записи по расходу германских марок, и затем эти записи по его же указанию были сожжены». Абакумов сообщил Сталину, что арестованный Тужлов показывал, что «Жуков и Серов были большими друзьями, постоянно ездили на охоту», и сообщал, что Серов, посещая Дрезден, всегда «уезжал с полной машиной вещей» и что все изъятые у арестованных ценности (золото, бриллианты, валюта) направлялись лично ему. Усилия Абакумова, однако, результата не принесли — Серов остался при делах.
Вся ГДР кишела бывшими недобитыми гитлеровцами. Они грабили немецкий народ, воровали, прятались, находили подходы к заболевшим трофейной болезнью советским военным. «Следователи МГБ тоже не все конфискованное сдавали государству, кое-что оставляли себе», — подумал Берия, Абакумов их покрывал. Да и сам он, будучи начальником СМЕРШа и зная все ходы и выходы в Германии, явно руку приложил, и приклеилось к ней немало. Неспроста на даче Абакумова обнаружили столько барахла.
Берия сразу вспомнил тот случай, то заседание Политбюро, когда на основании довольно странного и сумбурного письма Рюмина была создана комиссия по расследованию неких преступлений Абакумова. Берия потом специально узнавал, что письмо Рюмину помогал писать секретаришка Маленкова Суханов. Тогда Булганин представил дело в Политбюро так, что будто бы Абакумов, как министр госбезопасности, прошляпил ситуацию в Корее и не смог узнать, как там обстояли дела. На самом деле летом 1950 года именно Булганин уверял всех, что это Ким божился, что на Юге все готово к народному восстанию против американцев и ситуацию нужно лишь чуть подтолкнуть.
Берия не забыл, что воровство и трофейная болезнь сыграли не последнюю роль в крахе Виктора Абакумова. В конце июня 1951 года Серов написал Сталину докладную о том, что Абакумов, как и в свое время маршал Жуков, погряз в воровстве и разврате. «Наверно, Абакумов не забыл, — кипя праведным гневом, писал Серов в своей докладной Сталину, — когда во время Отечественной войны в Москву прибыл эшелон из более 20 вагонов с трофейным имуществом, в числе которого ретивые подхалимы Абакумова из СМЕРШа прислали ему полный вагон, нагруженный имуществом, с надписью — “Абакумову”. Вероятно, Абакумов уже забыл, когда в Крыму еще лилась кровь солдат и офицеров Советской армии, освобождавших Севастополь, а его адъютант прилетел к начальнику контрразведки СМЕРШ и нагрузил полный самолет трофейного имущества. Пусть Абакумов расскажет в ЦК про свое трусливое поведение в тяжелое время войны, когда немцы находились под Москвой. Он ходил как мокрая курица, охал и вздыхал, что с ним будет, а делом не занимался. Пусть Абакумов откажется, как он в тяжелые дни войны ходил по городу, выбирал девушек легкого поведения и водил их в гостиницу “Москва”».
Грешки за Абакумовым водились давно. В свое время два члена Политбюро — Микоян и Косыгин — внесли предложение (под предлогом отсутствия необходимых ресурсов) о ликвидации спецторга, обеспечивавшего продуктами питания и товарами широкого потребления чекистские кадры. Против этого предложения очень резко возразил Абакумов. Тогда была создана комиссия для проверки работы спецторга. Ею были вскрыты существенные злоупотребления в спецторге. Директором центрального склада спецторга оказался человек, в прошлом привлекавшийся к уголовной ответственности за спекуляцию и снятый с должности начальника Казанского спецторга за мошенничество. Руководство же Московского областного спецторга расхитило продуктов и промышленных товаров на сумму свыше 2 миллионов рублей, за что начальник Мособлспецторга был осужден на 25 лет. Абакумов, в подчинении которого, наряду с номинальным подчинением Министерству торговли СССР, находился Спецторг, получил от Сталина первый строгий выговор с предупреждением.
Абакумова обвинили в том, что он заболел трофейной болезнью. Рюмин заявил, что Абакумов присвоил огромное количество трофейного имущества и проявляет комчванство и нескромность в быту. На своем допросе некий полковник МГБ Чернов привел факты нецелевого использования денежных средств, предназначенных на оперативные нужды при Абакумове.
Абакумов хранил на специально созданных складах, якобы для оперативных нужд, большие материальные ценности, в основном трофейные, укрыв их от официального учета. Тащил с этих складов все, что хотел. По подтвержденным данным, для личного пользования с этих складов Абакумовым было взято более тысячи метров шерстяных и шелковых тканей, несколько гарнитуров мебели, столовых и чайных сервизов, ковров, изделий из саксонского фарфора. За период с 1944 по 1948 год Абакумов похитил ценностей более чем на 600 тысяч рублей.
Накануне ареста Абакумов как раз развелся с прежней женой и женился на новой, а следователи по его уголовному делу составили список его любовниц, отдельно вычленив евреек, что немудрено: «культурное» общество послевоенной Москвы во многом состояло из евреев. Абакумов имел две квартиры в Москве, в одной из которых — 120-метровой, украшенной дубовыми панелями, красным деревом, старинной мебелью, бесчисленными коврами, — жила его жена, в другой — в Колпачном переулке, дом 11, — он сам со своей любовницей. Оставив имевшуюся у него 5-комнатную квартиру брошенной жене, он приказал оборудовать себе новую, в 300 квадратных метров. МГБ на это потратило 800 тысяч рублей и выселило из отводимых под квартиру Абакумова помещений 16 семей числом 48 человек. В течение шести месяцев на переоборудовании дома в Колпачном переулке работали более 200 рабочих, архитектор Рыбацкий и инженер Филатов. При этом часть высококачественных материалов доставлялась из неизвестных, пока что неустановленных источников.
Квартиры ломились от столовых и спальных гарнитуров, невиданных в тогдашней Москве заграничных холодильников… В квартире было 13 радиоприемников и радиол, много столового серебра, большое количество дорогих художественных ваз, фарфоровой и хрустальной посуды, различных галантерейных товаров, большое количество золотых изделий, 1260 метров различных тканей, 16 мужских и 7 женских часов (8 золотых), 100 пар обуви, чемодан подтяжек, 65 пар запонок… а также большой ящик с корнями женьшеня.
После ареста Абакумов на допросе пояснил следователю Мокичеву, что те огромные массы ткани, которые найдены были в квартире при обыске, в этом нет ничего зазорного — в квартирах и на госдачах министров все делается только за казенный счет и, мол, ткань была нужна для обивки. В последующем очень скоро расследование в направлении финансовых махинаций Абакумова, по словам Столярова, было свернуто.
Абакумов имел по существу в своем личном распоряжении гараж МГБ со многими десятками легковых автомобилей. По указанию Абакумова для его личных нужд начальник секретариата министра полковник Чернов присвоил около 500 тысяч рублей из средств, предназначавшихся на оперативные нужды. Боясь ответственности за это преступление, Абакумов в марте 1950 года приказал уничтожить бухгалтерскую отчетность 1-го отделения Управления делами министерства, которое ведает хозяйственным обслуживанием руководящего состава.
Дойдя до обвинительного заключения по делу Абакумова, Берия обнаружил на нем сталинскую правку. Вместо первоначальной формулировки: «Действуя как подрывники, Абакумов и его соучастники Леонов и Комаров игнорировали указания ЦК КПСС о расследовании связей (вписано Сталиным — спрятать от следственных властей неоднократные уловки) с иностранной разведкой врага народа Кузнецова и участников его изменнической группы, орудовавшей в партийном и советском аппарате (вписано Сталиным — в Ленинграде). Были и другие мелкие правки вождя. Абакумов также обвинялся в попытках организации убийства Маленкова.