Поскольку Серебрянский ещё в марте 1918 года был начальником отряда Бакинского Совета по охране продовольственных грузов на Владикавказской железной дороге, он устроился на работу заведующим канцелярией нефтетранспортного отдела Московского топливного комитета («Москвотопа»), но в 1923 году был арестован по подозрению во взяточничестве. Следствием, однако, выдвинутых против него обвинений подтверждено не было. Серебрянского освобождают на поруки, и в октябре 1923 года он поступает на работу в газету «Известия». Здесь он становится кандидатом в члены ВКП(б).
В ноябре 1923 года председатель ОГПУ СССР Феликс Эдмундович Дзержинский направляет Якова Блюмкина нелегальным резидентом внешней разведки ИНО ОГПУ СССР в Палестину. Блюмкин предлагает Серебрянскому поехать вместе с ним своим заместителем. В декабре 1923 года Яков Серебрянский был принят на должность особоуполномоченного закордонной части ИНО ОГПУ СССР и в том же месяце вместе с Блюмкиным выехал в город Яффу.
В июне 1924 года Блюмкина отзывают в Москву, и резидентом становится Серебрянский. Руководство ОГПУ в лице первого заместителя председателя ОГПУ Вячеслава Рудольфовича Менжинского, который одновременно являлся начальником Секретно-оперативного управления (СОУ), в состав которого входил иностранный отдел (ИНО), поставило перед новым резидентом задачу глубоко проникнуть в боевое сионистское движение, выступавшее против экспансии англичан на Ближнем Востоке, рвавшихся к иракской нефти и контролю над Суэцким каналом. За короткое время Серебрянскому удалось привлечь к сотрудничеству с советской разведкой большую группу эмигрантов из России, причем не только еврейских поселенцев, но и бывших белогвардейцев, которым было обещано получение советского гражданства. Среди них А.Н. Ананьев (И.К. Кауфман), Ю.И. Волков, Руперт Людвигович Эске (он же Иван Иванович Рачковский), Н.А. Захаров, Андрей Николаевич Турыжников и другие. Все они составили ядро боевой группы, ставшей впоследствии известной как «группа Яши».
Уже в начале 1925 года советская разведка доносила о новых агрессивных планах Англии по подготовке консолидированной Европы к войне против СССР. Так, в секретном письме французскому правительству от 2 марта 1925 года будущий премьер-министр Чемберлен прямо указывал на необходимость включения Германии в англо-французский блок, направленный против СССР.
Аналогичные планы вынашивались и в Германии. Среди их сторонников был генерал-майор Макс Гофман (Carl Adolf Maximilian Hoffmann), который на момент начала Первой мировой войны являлся начальником оперативного отдела штаба 8‑й германской армии в Восточной Пруссии и руководил разработкой плана сражения при Гумбиннене – именно там, где был тяжело ранен Яков Серебрянский. После поражения при Гумбиннене командующим 8‑й армией был назначен генерал Пауль фон Гинденбург (Paul Ludwig Hans Anton von Beneckendorff und von Hindenburg), а начальником штаба армии – генерал Эрих Людендорф (Erich Friedrich Wilhelm Ludendorff). Вместе с Людендорфом Гофман разрабатывал планы сражений при Танненберге и на Мазурских озёрах. В конце августа 1916 года Гофман был назначен начальником штаба Главнокомандующего Восточным фронтом Леопольда Баварского. В этом качестве Гофман представлял германское командование в ходе переговоров о Брестском мире и играл ключевую роль в оккупации Прибалтики, Украины и Белоруссии. 27 июня 1919 года Василий Шульгин цитировал в своей газете «Великая Россия» выдержки из интервью Гофмана британской газете Daily Mail, в котором тот откровенно признавался, что «Украина и другие государственные образования не более как эфемерное создание… В действительности Украина – это дело моих рук, а вовсе не творение сознательной воли русского народа. Никто другой, как я, создал Украину, чтобы иметь возможность заключить мир, хотя бы с одной частью России…».
Выйдя в 1920 году в отставку, Гофман вместе с немецким промышленником Арнольдом Рехбергом (Arnold Rechberg), владельцем калиевого концерна Wintershall AG (ныне крупнейшая немецкая газовая и нефтяная компания, подразделение BASF), разработал так называемый «план Гофмана», предусматривавший создание европейского блока против СССР. Рехберг, как и Гофман, был близок к генералу Людендорфу и консультировал его по экономическим вопросам. Именно Рехберг сыграл ключевую роль в приходе Гитлера к власти и входил в «круг друзей рейхсфюрера СС» (Freundeskreis Reichsführer SS).
Членом правления Wintershall AG был Гюнтер Квандт (Günther Quandt), в годы нацизма «фюрер военной экономики», основатель промышленной империи, в которую входили Deutsche Bank AG, Daimler-Benz AG, AEG (Allgemeine Elektrizitäts-Gesellschaft), VARTA (Accumulatoren-Fabrick A.G.) и другие финансово-промышленные группы. Квандт был первым мужем Магды Геббельс, а их сын Харальд Квандт (Harald Quandt), усыновлённый Геббельсом, вместе с братом Гербертом (Herbert Werner Quandt) унаследовал промышленную империю отца. Владея 46,7 % акций автомобильного гиганта BMW, братья стали самыми богатыми людьми ФРГ. Официально состояние семейства Квандтов сегодня оценивается в 31 млрд евро, большую часть из которого составляют их суммарные активы BMW – почти 26 млрд евро. Именно эти круги толкали и толкают объединённую Европу на восток к расширению «жизненного пространства» за счёт «неполноценных» народов, годящихся разве что в качестве бесплатной рабочей силы.
Как мы видим, к середине 1920‑х годов со всей очевидностью стали вырисовываться контуры новой мировой войны. Поэтому советским руководством было принято решение о создании нелегальных резидентур для глубокого проникновения на крупнейшие промышленные и военно-стратегические объекты противника с целью проведения диверсий и саботажа в случае начала военных действий. Для выполнения этой задачи Яков Серебрянский был направлен в 1926 году нелегальным резидентом в Бельгию. В феврале 1927 года он выезжал в Москву, где был принят в члены ВКП(б). Из Москвы он едет нелегальным резидентом в Париж, где остаётся до марта 1929 года.
После возвращения в Москву 1 апреля 1929 года Серебрянский был назначен начальником 1‑го отделения (нелегальная разведка) ИНО ОГПУ, оставаясь при этом руководителем Особой группы, именовавшейся в узком кругу «группой Яши». Теперь у него был личный кабинет на Лубянке, свой аппарат сотрудников Центра и сеть созданных им нелегальных резидентур за кордоном, включавших многочисленных глубоко законспирированных агентов. При этом «группа Яши» фактически являлась параллельной разведывательно-диверсионной сетью, независимой от руководства ИНО. Группа подчинялась лично председателю ОГПУ СССР Вячеславу Рудольфовичу Менжинскому, по инициативе которого и была создана. Уникальность ситуации заключалась в том, что Серебрянскому и его заместителю Науму Эйтингону было дано право вербовать агентов без согласования с Центром. Такого в истории разведки не было ни до, ни после.
«Изначально формирование оперативно-боевых групп ИНО, – пишет известный историк спецслужб, профессор Алексей Иванович Пожаров, – было связано с решением сугубо практических задач по противодействию деятельности заграничных антисоветских организаций и центров, сформированных на базе белой эмиграции. Физическая ликвидация лидеров политической оппозиции позволяла разрушать эти организации и нейтрализовать угрозы молодому советскому государству».
Агенты Русского общевоинского союза (РОВС), одной из ведущих белоэмигрантских организаций, насчитывавшей в своих рядах до 100 тыс. штыков, организовали в июне 1927 года в Ленинграде теракт, напав на членов партактива города в ходе заседания дискуссионного клуба на набережной реки Мойки. В результате один человек погиб и ещё 26 были ранены.
«Ответные меры советских спецслужб не заставили себя долго ждать, – пишет Пожаров. – Руководство партии большевиков поставило задачу ОГПУ ликвидировать и обезвредить закордонные антисоветские центры прежде всего прицельными ударами по руководителям этих организаций. По сути, за границей наблюдалось продолжение гражданской войны в её секретном, тайном формате. Именно в этих целях в ИНО ОГПУ была сформирована оперативно-боевая группа Якова Серебрянского – “группа Яши”, которая продемонстрировала свою эффективность и получила высокую оценку в ЦК ВКП(б)».
Летом 1929 года руководство ОГПУ вышло в ЦК с предложением о похищении и вывозе в Советский Союз председателя РОВС генерала Кутепова, развязавшего на территории СССР диверсионно-террористическую деятельность, в том числе с использованием химического оружия. Предложение было утверждено Сталиным. Руководство спецоперацией по «секретному изъятию генерала А. Кутепова» было поручено Серебрянскому.
В воскресенье 26 января 1930 года в Париже средь бела дня Кутепова втолкнули в автомобиль и сделали ему инъекцию морфия. Генерал исчез бесследно, вызвав среди части эмиграции панику из-за «всемогущества ГПУ». Спустя несколько дней обнаружился свидетель похищения генерала. Им оказался дворник из расположенной на улице Удино клиники, которого звали Огюст Стеймец. Он заявил полиции, что утром 26 января около 11 часов он увидел в окно клиники большой серо-зелёный автомобиль, возле которого стояли двое рослых мужчин в жёлтых пальто, а неподалеку от них – такси красного цвета. Тут же на углу находился полицейский. Когда Кутепов, приметы которого Стеймец описал довольно точно, поравнялся с серо-зелёным автомобилем, люди в жёлтых пальто схватили его и втолкнули в салон автомашины. В неё же как ни в чём не бывало сел и полицейский, который спокойно наблюдал эту картину. Автомобиль на большой скорости уехал в сторону бульвара Инвалидов. Вслед за ним отправилось и красное такси.
Серебрянский возвратился в Москву и 30 марта 1930 года был награждён орденом Красного Знамени. 20 июля того же года он был зачислен на особый учёт ОГПУ в связи с выездом за рубеж. Всего им было создано двадцать специальных нелегальных резидентур, которые могли выставить на особый период порядка 200 агентов-боевиков. 13 июня 1934 года, то есть через три дня после образования НКВД СССР, «группа Яши» была выделена из ИНО и напрямую подчинена наркому внутренних дел, получив название «Специальная группа особого назначения» (СГОН). При ней была организована школа разведчиков-нелегалов и диверсантов. Многие её выпускники в годы Великой Отечественной войны стали крупными специалистами по проведению диверсий в тылу врага.