В мае 1920, Орлов с документами на имя "ксендза Орбанского" совершил секретный вояж по Европе (Варшава, Рига, Таллин, Каунас, Париж, Лондон), где попытался создать разведывательные группы. Статус Орлова как врага советской власти подчёркивает факт создания в ЧК отдельного агентурного дела "на Орлова и разведку Врангеля".
После поражения Врангеля — Орлов с 1920 года на долгое время поселился в Германии, продолжив борьбу с большевизмом. В частности, в Берлине он выступил с идеей создания "Белого интернационала" (организации, в задачи которой входила "регистрация и тщательный надзор за выезжающими из Совдепии агентами"), был принят на работу разведслужбой Веймарской республики в качестве эксперта. За это время сыграл большую роль в разоблачении так называемой "германской ЧК", состоявшей из агентов Коминтерна.
В 1929 году Орлов, в результате проведённой Иностранным отделом ОГПУ операции "Фальсификатор") был подвергнут в Германии суду за попытку продать компромат на американских сенаторов Уильяма Бору и Джорджа Норриса (William Borah и George Norris), выступавших за признание СССР со стороны США и установление между ними дипломатических отношений.
После прихода к власти в Германии нацистов, Орлов эмигрировал в Бельгию, где в 1939 году был задержан и отправлен в концлагерь, где и погиб в 1941 году.
По другой версии, многочисленные запросы советской стороны в Германию о выдаче Орлова не были удовлетворены, но в 1930 году он, опасаясь выдачи Советскому Союзу, уехал с рекомендацией от В. Л. Бурцева в Бельгию, где открыто жил до конца 30-х годов (то есть Орлов не бежал от нацистов, хотя и испытывал сильную неприязнь к нацистской идеологии и даже в 1932 году был обвинён национал — социалистами в деятельности, направленной против НСДАП). По этой версии, Орлов был арестован германской службой безопасности (СД), в начале немецкой оккупации Бельгии, то есть после мая 1940 года (массовые аресты русских в Бельгии произошли осенью 1940 года), и, по некоторым данным в ходе допросов подвергался пыткам.
Несмотря на противоречивые сообщения о его отправке в немецкий концлагерь или получении "хорошей работы" в Абвере, нет сомнений в том, что он был убит выстрелом в затылок, а его тело было обнаружено в Берлине (Тиргартен) в январе 1941 года.
О другом "ценном кадре" Дзержинского или вражеском агенте среди высоко поставленных сотрудников ВЧК, поведал в своих мемуарах уже упоминавшийся ветеран-чекист Ф. Т. Фомин: "Летом 1919 года реввоенсовет армии предоставил мне возможность поехать на некоторое время в Киев для лечения. Положение под Киевом было очень тяжелое. Деникинские части наступали с Дарницы, а петлюровцы — со стороны Коростеня. Киев уже подвергался усиленному орудийному обстрелу с двух сторон.
Я решил повидаться с председателем Всеукраинской чрезвычайной комиссии Мартином Яновичем Лацисом. М. Я. Лацис попросил меня временно задержаться в Киеве: — Сами видите, как нам сейчас приходится. У нас крайняя необходимость в работниках. — Прошу вас, товарищ Лацис, используйте меня, как найдете нужным. — Ну, вот и отлично. Я направлю вас заместителем начальника Особого отдела ВЧК 12-й армии. Вы, товарищ Фомин, займитесь там арестованными. Мне сообщили, что начальник этого отдела Грюнвальд хватал всех подряд, кого нужно и не нужно. Разберитесь, пожалуйста.
С первого же дня ко мне стали приходить коммунисты-чекисты и рассказывать о том, что начальник отдела Грюнвальд со своими приближенными пьянствует, безобразничает, запугивает население. Признаться, я этому не сразу поверил. Вместе с секретарем партячейки Светловым мы занялись проверкой этих сведений, и, к сожалению, все подтвердилось.
Однажды в разговоре с начальником отряда особого отдела, не помню в связи с чем, речь зашла о гетмане Скоропадском. И тут он мне сделал неожиданное сообщение: — Товарищ начальник! У нас под арестом содержится жена гетмана Скоропадского.
А мне доподлинно было известно, что жена Скоропадского вместе с ним уехала из Киева еще в декабре 1918 года. Это, подумал я, какое-то недоразумение.
Вызвав старшего следователя Николаева, я спросил его: — Кого из женщин, содержащихся у нас под следствием, называют женой гетмана Скоропадского? — Это, как видно, арестованную Чхеидзе, — отвечает Николаев. — А кто такая Чхеидзе? Николаев несколько замялся: — Вы разве не слышали? — Нет, ничего не знаю, потому у вас и спрашиваю. — Чхеидзе была любовницей Грюнвальда. — Почему же ее называют женой гетмана Скоропадского? — Как видно, лишь потому, что она красивая женщина.
Я попросил Николаева дать мне для ознакомления дело Чхеидзе. Николаев принес тоненькую папку с надписью на обложке красным карандашом: "Английская, шпионка Чхеидзе, покушавшаяся на жизнь начальника ОО ВЧК 12-й армии тов. Грюнвальда". Написано это было собственной рукой Грюнвальда.
Открыл я папку "английской шпионки" и удивился. В деле лежало всего лишь пять небольших писем — интимная переписка Грюнвальда с Чхеидзе. Из этих писем можно было сделать только тот вывод, что за Чхеидзе (по профессии зубным врачом) нет никакого преступления и обвинение в шпионской деятельности — плод больного воображения Грюнвальда.
Я предложил старшему следователю Николаеву вызвать арестованную Чхеидзе: — Хочу поговорить с ней в вашем присутствии, вы не уходите.
Минут через десять к нам привели очень красивую женщину, грузинку. Я предложил ей сесть. Женщина села в кресло, стоявшее около стола, и попросила разрешения закурить. Николаев дал папиросу. — Скажите, Чхеидзе, как вы попали под арест? — А вы кто такой?
Я назвал свою должность, фамилию. Чхеидзе неожиданно встала: — Помогите мне, спасите меня от Грюнвальда, умоляю вас! Я верю, вы мне поможете! — Не волнуйтесь, Чхеидзе. Садитесь. Вы не ответили на мой вопрос. — Я все, все вам расскажу, — быстро заговорила женщина. — Все расскажу, хотя о многом сейчас и вспоминать и говорить стыдно. А вообще-то все из-за моего легкомыслия и глупости. Только вы, пожалуйста, не думайте, что я искательница приключений и развлечений. Началось все с того, что я с подругой шла как-то по Пушкинской улице мимо здания, где помещался, как я узнала последствии, Особый отдел. Подъехал автомобиль, из него вышел высокого роста мужчина, светло-русый, на нем был плащ защитного цвета.
— Смотри, какой красивый мужчина! — сказала я подруге. — Хочешь, я с ним познакомлюсь?
— У тебя все глупости на уме! А в меня точно бес вселился.
— Нет, ты посмотри, какой он стройный, как голову держит, а выправка-то!
— Наверное, бывший офицер.
— Ну и что же, еще интереснее с таким познакомиться!
Из парадного, куда вошел этот мужчина, вышел красноармеец. Я спросила его, что это за человек подъехал на автомобиле? Красноармеец ответил мне, что это прибыл начальник Особого отдела Грюнвальд.
На другой день утром я пишу Грюнвальду записку: "Вы мне нравитесь, и я хочу с вами видеться. Буду ждать сегодня вечером там-то". И указала свой адрес. Букет и письмо принесла на Пушкинскую улицу и через дежурного коменданта передала Грюнвальду. В 10 часов вечера ко мне на квартиру пришел Грюнвальд с коньяком, шампанским и закуской… На следующий день он опять приехал ко мне… Но после двух свиданий я поняла, что Грюнвальд — очень нехороший человек, и решила с ним больше не встречаться. Он был нагл и высокомерен. — Я все могу, что захочу, — говорил он, опьянев. — Все в городе в моих руках. Меня все боятся. Только ты не бойся, ты мне нравишься!
А мне было жутко, в особенности когда я встречалась с его глазами, пустыми и жестокими. — Я боюсь тебя, ты страшный человек, — сказала я. — Это и хорошо, что боишься! Когда боятся, тогда слушаются, подчиняются. Я хочу, чтобы и ты мне подчинялась, только мне! Слышишь?!
Я твердо решила больше с ним не встречаться и в тот же день пошла к подруге. Я жила у нее три дня. А когда вернулась к себе на квартиру, то увидела письмо от Грюнвальда. Он требовал встреч, грозил мне… Я на это письмо ему не ответила. На следующий день ко мне на квартиру пришли два сотрудника из особого отдела с ордером на арест за подписью Грюнвальда. Меня привели сюда и посадили в подвал. Сижу и сама не знаю за что. Я спросил Чхеидзе: — Вам было предъявлено какое-либо обвинение или нет? — Никто никакого обвинения мне не предъявлял!
Рассказ Чхеидзе, письма, а также сведения о поведении Грюнвальда, собранные мной за последние дни, — все говорило о невиновности этой женщины. Я предложил Николаеву написать постановление об освобождении Чхеидзе из — под ареста и дать мне его на утверждение.
Как только я ушел к себе в кабинет, Николаев был вызван к Грюнвальду. Видимо, он узнал о том, что я заинтересовался историей этой женщины. Ночью Грюнвальд появился в особом отделе пьяным, вызвал коменданта. Когда тот явился, он взял дело Чхеидзе и на обложке его написал крупными буквами: "Расстрелять! Грюнвальд".
На другой день я пораньше пришел в особый отдел. Николаев был уже там. — Нужно кончать с этим делом Чхеидзе — сказал я ему — давайте я подпишу постановление об освобождении. Вы заготовили его? — Я не мог выполнить вашего приказания, — ответил Николаев. — Сегодня ночью Чхеидзе по личному распоряжению Грюнвальда была расстреляна. Теперь уже не оставалось никаких сомнений в том, что Грюнвальд — это враг, пробравшийся в органы ВЧК.
Я внимательнее стал присматриваться к окружению Грюнвальда. У него было несколько помощников из бывших царских офицеров. Рядом с его кабинетом они устроили что-то вроде буфета со спиртными напитками. Здесь они напивались до бесчувствия. Пьяные, с мандатами за подписью Грюнвальда на аресты и обыски, они творили все что хотели. Кабинет Грюнвальда был превращен в кладовую, куда приносились изъятые при обысках ценности, и там их делили, по усмотрению самого "хозяина".
Все это стало возможным только потому, что Киев тогда, в сущности, был фронтовым городом. Все силы были брошены на борьбу против вражеского нашествия. Пользуясь этой напряженнейшей обстановкой, стремясь всячески ухудшить ее, грюнвальдская компания и творила свои черные дела.