Осенью 1938 года Серебрянский был отозван из Парижа в Москву. 10 ноября его вместе с женой арестовали в Москве прямо у трапа самолета. Ордер на их арест подписал начальник ГУГБ НКВД СССР Лаврентий Берия. В тот же день в квартире Серебрянских был произведен обыск.
До 21 января 1939 года Яков Исаакович содержался под стражей во внутренней тюрьме на Лубянке. 21 января его перевели в Лефортовскую тюрьму, и до 13 февраля, то есть более трех месяцев после ареста, он содержался под стражей без санкции прокурора. А 21 февраля он был уволен из НКВД в связи с арестом. Конфискованные у него государственные награды были направлены на переплавку.
Отметим, что сразу после ареста Серебрянского разведывательно-диверсионная школа СГОН прекратила свое существование. Строгую даму-иностранку, ее мужа и большинство преподавателей арестовали.
В то же время следует подчеркнуть, что состав слушателей спецшколы, набранных в 1937–1938 годах, практически не пострадал от репрессий. Их распределили по различным подразделениям НКВД. Это были молодые кадры, блестяще показавшие себя в период Великой Отечественной войны. Их успешное использование в тайной войне с противником явилось существенным вкладом их учителя, руководителя спецшколы Якова Серебрянского, в Победу над фашизмом.
Коснулись аресты и сотрудников СГОН. Так, 16 ноября 1937 года был арестован участник операции по похищению генерала Кутепова Андрей Турыжников. Несколько позже были арестованы и расстреляны заместитель Серебрянского по СГОН Альберт Сыркин-Бернарди, а также его жена Вера Сыркина, являвшаяся секретарем спецшколы СГОН. В сентябре 1939 года был арестован, а в июле 1941 года расстрелян Самуил Перевозников — руководитель нелегальной резидентуры СГОН в Шанхае. Были также расстреляны надежные помощники Серебрянского, входившие в Особую группу практически со дня ее основания, — Юрий Волков и Иван Рачковский (Руперт Эеке).
Сразу после ареста Якова Серебрянского руководимая им Специальная группа особого назначения была расформирована.
Следствие по делу Серебрянского вел начальник следственной части НКВД капитан госбезопасности Виктор Абакумов, а на более поздней стадии — его заместитель Соломон Милыптейн.
Интересно, что за несколько лет до описываемых выше событий на партийном собрании наркомата обсуждалось персональное дело коммуниста Виктора Семеновича Абакумова. Ему инкриминировалось злоупотребление служебным положением во время следственных действий: оскорбление заключенных, провокации, а в отношении арестованного чекиста-разведчика Петра Зубова и рукоприкладство.
Выступавшие на собрании отмечали, что подобными методами следователь Абакумов добивался от подследственных признания в несовершенных ими преступлениях.
Сотрудникам ИНО НКВД удалось отстоять Зубова, в первую очередь благодаря вмешательству руководителя Иностранного отдела Артура Артузова и его заместителя Сергея Шпигельглаза, которые пользовались большим авторитетом не только в ИНО, но и у подавляющего большинства сотрудников оперативного аппарата наркомата.
Дело прекратили, Зубова восстановили на прежнем месте работы, а Абакумова привлекли к партийной ответственности.
На собрание был приглашен и руководитель Особой группы майор государственной безопасности Яков Серебрянский, поскольку Зубов по роду своей деятельности тесно соприкасался с ним.
Предложений было два: первое — исключить Абакумова из членов ВКП(б); второе — объявить строгий выговор с занесением в учетную карточку и уволить из органов НКВД. Если за исключением чекиста из партии, как правило, следовал арест с непредсказуемыми трагическими последствиями, то второе наказание оставляло шанс на жизнь.
Присутствовавший на собрании Серебрянский дал исключительно положительную характеристику Зубову, подчеркнув его добросовестность, честность и преданность партии. Касаясь Абакумова, он осудил его аморальные поступки, но заметил, что тот еще молод, взысканий не имел и потому мера наказания ему должна быть воспитательной. Он предложил ограничиться выговором.
В ходе дискуссии поступило и другое предложение — перевести коммуниста Абакумова из членов партии в кандидаты, но оставить в органах НКВД. В свою очередь Абакумов клятвенно обещал товарищам по партии не допускать при ведении следствия произвола, попросил у них прощения за свое поведение.
В итоге собрание согласилось с предложением перевести Абакумова из членов партии в кандидаты. Его понизили в звании, но оставили в органах госбезопасности.
Через год с небольшим Абакумов был восстановлен в правах члена партии и вернулся на прежнюю должность в следственную часть. Спустя еще некоторое время ему было присвоено очередное звание. Став исполняющим обязанности начальника следственного отделения НКВД СССР, Виктор Абакумов приложил руку к аресту и расстрелу руководителей внешней разведки Артузова и Шпигельглаза, вновь отправил в тюремную камеру разведчика Зубова и многих других чекистов. Он мстил за свое унижение. Мстил жестоко.
Оказался в тюрьме и старший майор госбезопасности Яков Серебрянский, получивший совсем недавно из рук Калинина орден Ленина и обласканный самим Сталиным. Увы, теперь это уже не имело значения.
«Значение имело лишь слово начальника следственной части НКВД капитана госбезопасности Виктора Абакумова, — писал Юрий Колесников. — Того самого, которого несколько лет назад по инициативе Серебрянского спасли от верной гибели. Люди, как и сама жизнь, преподносят подчас коварные сюрпризы. Честный человек остается признателен тому, кто однажды спас ему жизнь, негодяй отнимает жизнь у своего спасителя.
Абакумов, злобный, мстительный, не смог снести унижения, испытанного на том партсобрании, когда ему во спасение карьеры и жизни пришлось просить прощения за произвол, допущенный им при ведении следствия».
В ходе следствия Серебрянского подвергали «интенсивным методам допроса». Первый допрос состоялся 13 ноября 1938 года. Однако нужных признательных показаний от него добиться не смогли. В результате Берия наложил на документ, касающийся арестованного, резолюцию: «Тов. Абакумову! Хорошенько допросить!»
Спустя четыре дня в допросе Серебрянского приняли участие сам Берия, а также его заместитель Кобулов и Абакумов. Разведчика жестоко избили, и, спасая свою жизнь, он вынужден был дать ложные показания и оговорить себя. На допросе Серебрянский назвал вымышленные фамилии соучастников своей «антисоветской деятельности», что позволяло тянуть время и не бросать тень подозрения на своих коллег. Кстати, на допросе в 1954 году Серебрянский показал, что еще до суда, то есть на предварительном следствии, он отказался от показаний, в которых признавал себя виновным.
Полина Натановна Серебрянская впервые была допрошена 28 февраля 1939 года. Ее обвиняли в недонесении на собственного мужа.
Характерно, что во время следствия в 1939 году, находясь в жутких условиях, Серебрянский писал «Наставление для резидента по диверсии».
В этом «Наставлении» Серебрянский рассматривал боевую нелегальную работу как важный участок обороны страны, позволяющий ослабить противника за счет уничтожения его важных военных и промышленных объектов в случае нападения на Советский Союз. Считая этот участок работы очень ответственным, он подчеркивал: «Только тот имеет право посылать товарищей на опасную для их жизни работу, кто сам готов подвергнуть себя этой опасности. Ты должен быть счастлив, что партия тебе доверяет такой ответственный участок работы». Работа над учебником была завершена 15 октября 1939 года.
Допросы арестованного с применением «интенсивных методов» продолжались. А в перерывах между допросами Серебрянского выводили в специальное помещение или вывозили на Лубянку, где с ним встречались представители центрального аппарата разведки для консультаций по особо важным оперативным вопросам. Ведь Яков Исаакович держал в голове схемы вербовок наиболее ценных агентов, с которыми органы государственной безопасности продолжали поддерживать связь, знал все их слабые и сильные стороны. Его консультации были исключительно важны для представителей различных подразделений внешней разведки.
Из рассказа сына Серебрянских Анатолия Яковлевича: «В год ареста родителей мне едва исполнилось пять лет. Я жил в нашей квартире с сестрой мамы — бухгалтером Наркомата земледелия СССР Шелли Натановной. Она воспитывала меня, кормила, поила, ухаживала за мной как за сыном. Я ей бесконечно благодарен.
На мои вопросы, где мама и папа, тетя Шелли всегда отвечала: в командировке. Это меня не удивляло, так как к долгому отсутствию родителей я уже привык. Странно только было то, что вскоре мы переехали с Гоголевского бульвара, дом 31, где жили в особняке и где на первом этаже находились служебные помещения отца, в комнату в коммунальной квартире (Тверской бульвар, 9, квартира 26)».
Следствие по делу «врага народа» Якова Исааковича Серебрянского было завершено 4 октября 1940 года.
К этому времени слух о том, что член комиссии ЦК ВКП(б) старший майор госбезопасности Яков Серебрянский, давший высокую оценку операции по дестабилизации Организации украинских националистов, арестован, дошел и до заместителя начальника внешней разведки Павла Судоплатова, руководившего тогда подготовкой операции «Утка» (ликвидация Л. Д. Троцкого, успешно осуществленная 20 августа 1940 года).
«Судоплатов, — отмечал позже Юрий Колесников, работавший вместе с ним, — давно по достоинству ценил способности этого необычайно компетентного руководителя, был наслышан о заслугах Серебрянского перед страной и глубоко переживал трагическую новость. Разумеется, молча, как и остальные коллеги.
Конечно, он не мог знать обстоятельств, предшествовавших аресту Якова Исааковича, не знал, что ему формально инкриминируется. Это было и необязательно. Вероятнее всего, привычный стандарт: обвинение в контрреволюции, попытке свергнуть советский государственный строй, восстановить капитализм… и черт знает что еще могли наплести. Возможно и обвинение в шпионаже. В пользу какого конкретно государства, значения не имело. Следователи сочинят сами. Даже не позаботятся хотя бы о внешней правдоподобности. Главное — придать “делу” весомость!»