В 1932 году было образовано дешифровальное отделение в Особой Краснознаменной Дальневосточной армии, а в 1935–1936 годах — в Забайкальском, Среднеазиатском и Киевском военных округах. Эти отделения, равно как и в центре, находились в оперативном подчинении ОГПУ.
В 1933 году шифровальщики Спецотдела при ОГПУ работали в большой комнате на четвертом этаже обширного здания бывшей страховой компании на улице Лубянка в Москве. А дешифровщики занимали верхний этаж бывшего здания НКИД на углу улиц Лубянка и Кузнецкий мост. Тот факт, что нижние этажи здания посещались частными лицами и членами дипломатического корпуса, использовался для маскировки.
В 1933 году с целью повышения квалификации личного состава Спецотделом было подготовлено и выпущено учебное пособие «Шифры и их применение», а в 1939 году уже в НКВД был издан специальный учебник «Криптография (шифрование и дешифрование)», написанный ведущими советскими специалистами-криптологами С. Г. Андреевым, А. И. Копытцевым, С. С. Толстым и Б. А. Аронским.
7 июня 1934 года начальник IV Управления (разведывательного) Штаба РККА Ян Карлович Берзин (1889–1938) направил председателю РВС К. Е. Ворошилову доклад о работе армейской дешифровальной службы. В докладе назывались проблемы криптослужбы и подчеркивалась сложность подготовки специалистов-криптологов. В нем говорилось: «Дешифровально-разведывательная служба — одна из сложнейших специальностей. Подготовка кадров для нее — более трудное дело, чем в какой-либо другой области науки и техники».
Я. К. Берзин сформулировал основные требования, предъявляемые к специалистам-криптологам. Они, в частности, должны:
— быть абсолютно преданными своему государству, так как они посвящаются в особо секретные государственные дела;
— иметь высшее образование;
— владеть в совершенстве не менее чем одним иностранным языком;
— обладать способностью к ведению самостоятельной работы научно-исследовательского характера;
— иметь широкую научную эрудицию;
— обладать беспримерным терпением;
— обладать быстрой сообразительностью и хорошей ориентировкой;
— обладать незаурядной угадливостью;
— обладать комбинационной способностью.
«Такие работники, — писал Я. К. Берзин, — вырабатываются в течение многих лет и только благодаря использованию накопленного ранее опыта в специальном деле…»
В то время общая численность дешифровального отдела IV Управления Штаба РККА была 46 человек. Начальник управления докладывал, что для полного выполнения поставленных перед отделом задач такого количества специалистов недостаточно. Я. К. Берзин писал: «Шифрдокументы поступают от 52 стран, однако разрабатываются совместно со Специальным отделом при ОГПУ лишь только документы 22 стран… За 1933 г. при напряженной работе подчас за счет преждевременного износа умственных и физических сил работников ДРС разработано только 42 % имеющихся для разработки материалов. 58 % иностранных шифрованных документов, могущих дать ценную добавочную информацию, остались неразделанными из-за недостатка кадров».
В докладе была высказана просьба об усилении службы кадрами, в том числе предлагалось увеличить численность кадрового состава на 10 человек и перевести 16 человек вольнонаемных в административный состав. Но ввиду скромности просьб, изложенных в докладе Я. К. Берзина, они не были в 1934 году удовлетворены, поэтому отдел продолжал работать в прежнем составе.
10 июля 1934 года ОГПУ вошло в состав НКВД как Главное управление государственной безопасности (далее — ГУГБ), а его региональные органы вошли в состав региональных управлений НКВД. В соответствии с этим Спецотдел ОГПУ был реорганизован в Спецотдел ГУГБ НКВД.
22 ноября 1934 года было объявлено Постановление ЦИК и СНК СССР об утверждении «Положения о Народном комиссариате обороны» (далее — НКО), согласно которому в его состав вошло Разведуправление (далее — РУ), ранее входившее в состав Штаба РККА. 15 декабря 1935 года был изменен и утвержден новый штат РУ РККА, согласно которому 5-й (дешифровальный) отдел стал 7-м отделом, а 1-я (шифровальная) часть стала секретно-шифровальным отделением (иногда называлось отделением «Ш»). Численность 7-го отдела составляла 53 человека, и пять человек постоянного состава было выделено на Центральные курсы ДРС.
Начальником 7-го отдела с февраля 1936 года по февраль 1939 года был полковник П. Х. Харкевич, а его заместителем — майор Б. В. Звонарев, который в совершенстве владел четырьмя иностранными языками, тремя европейскими и японским. Начальником отделения «Ш» с января 1935 года по ноябрь 1937 года был полковой комиссар Э. Я. Озолин, а с сентября 1938 года по май 1939 года — майор Николай Александрович Филатов.
В 1935 году за выполнение специального задания командования Звонарев был награжден именными золотыми часами наркома обороны, а в 1936 году — орденом Красного Знамени. Дело в том, что специалисты ДРС совместно со специалистами Спецотдела раскрыли в октябре 1935 года японский дипломатический код, о чем доложили начальнику РУ РККА С. Г. Урицкому. Последний написал рапорт заместителю наркома обороны Я. Б. Гамарнику, а он, учитывая важность события, распорядился доложить об этом лично наркому обороны К. Е. Ворошилову. Вот доклад С. Г. Урицкого К. Е. Ворошилову:
«15 октября с. г. японское правительство отклонило свой основной код и ввело вместо него новый. Создалась угроза не иметь информации о военных мероприятиях Японии по линии дешифровки японских шифротелеграмм в нужный момент. Помощник начальника… отдела РУ РККА т. Звонарев Б. В. совместно с работниками его подразделения тт. Шунгским, Калининым, Мыльниковым и работниками Спецотдела ГУГБ НКВД тт. Ермолаевым и Ермаковой в минимально короткий срок, в шесть дней, раскрыли указанный код и обеспечили бесперебойную расшифровку японских шифротелеграмм. Эти результаты достигнуты благодаря систематической подготовке т. Звонаревым своего подразделения к выполнению стоящих перед ним задач. Непосредственно при раскрытии кода особо важную роль сыграли тт. Звонарев и Шунгский. Ходатайствую о награждении ценными подарками… т. Звонарева Б. В. и специалистов тт. Шунгского, Калинина и Мыльникова…»
На этом рапорте нарком обороны наложил резолюцию: «Наградить т. Звонарева золотыми часами, а остальных тт. серебряными (хорошими) часами. К. В. 27.XI.35».
В предвоенные годы японский отдел дешифровальной службы НКВД возглавлял Сергей Семенович Толстой. Одним из самых крупных успехов накануне войны было дешифрование группой специалистов во главе с Толстым японских шифромашин, известных под названиями, данными им американцами: «оранжевая», «красная» и «пурпурная».
В 1935 году криптологи Спецотдела переехали в новое здание по улице Феликса Дзержинского, названной в честь первого председателя ВЧК-ОГПУ. Шифровальный отдел был поделен на несколько отделений, занимавшихся обеспечением секретной связи с региональными управлениями НКВД, пограничными частями и военными формированиями, администрациями тюрем и лагерей, нелегальной зарубежной агентурой и «легальными» резидентурами за рубежом.
За секретную связь с «легальными» резидентурами отвечало 6-е отделение. Его начальник по фамилии Козлов был снят с должности во время репрессий в 1937 году. А после того, как преемник Козлова был отправлен шифровальщиком в США, начальником 6-го отделения стал человек, чье имя приобрело впоследствии скандальную популярность. Это был Владимир Михайлович Петров, который в 1954 году вместе с женой Евдокией получил политическое убежище в Австралии.
В 1933 году, в момент прихода В. М. Петрова в 6-е отделение, оно насчитывало в своем составе 12 человек. Этим людям доверялись самые большие тайны наиболее секретного учреждения в СССР, и поэтому они относились к элите советского общества. Однако их работа была трудной. Операции по дешифровке сообщений выполнялись вручную, и В. М. Петрову часто приходилось задерживаться на работе до полуночи, чтобы успеть вовремя обработать всю массу шифротелеграмм, поступивших к нему в течение дня. Позже, уже будучи заместителем начальника 6-го отделения, В. М. Петров сам уже не занимался шифрованием или дешифровкой, а читал, корректировал и подписывал открытые тексты шифротелеграмм.
Иногда шифровальщикам давались поручения, выходящие далеко за рамки их прямых обязанностей, как это случилось, например, с Яковом Ефимовичем Боковым. Ему было поручено убить советского посла в одной из стран Ближнего Востока, что он и сделал в кабинете последнего, проломив ему череп одним ударом металлического бруска. Чтобы отвести от себя подозрение в убийстве, Я. Е. Боков в течение года продолжал работать шифровальщиком в этом посольстве, а затем вернулся в СССР, где «за успешное выполнение правительственного задания» 14 октября 1939 года был награжден орденом Красной Звезды.
Дешифровальный отдел был разбит на отделения по географическому и языковому принципу — китайское, японское, англо-американское и т. д. Евдокия Петрова (Дуся), которая в течение двух лет изучала японский язык в московской спецшколе, работала в японском отделении. Ее коллегами по работе были:
— Вера Плотникова, дочь профессора японского языка, который в течение многих лет был резидентом японской разведки в Москве;
— Галина Подпалова, настолько влюбленная во все японское, что, придя домой, неизменно одевалась в кимоно;
— Иван Калинин, который время от времени приглашался как консультант;
— профессор Павел Матвеевич Шунгский — главный авторитет отделения по вопросам японского языка, который служил еще в царской армии.
В 1938 году была проведена очередная реорганизация НКВД. В результате для ведения шифрованной переписки в его структуре 9 июня был создан 3-й спецотдел, начальником которого стал капитан госбезопасности Александр Дмитриевич Баламутов (1904–1979). 29 сентября Спецотдел ГУГБ НКВД был переименован в 7-й отдел, начальником которого стал тот же А. Д. Баламутов. В 1939 году в состав 7-го отдела ГУГБ НКВД было переведено дешифровальное отделение Разведотдела НКВМФ, созданное в 1938 году. 9 апреля 1939 года начальником 7-го отдела был назначен капитан госбезопасности Алексей Иванович Копытцев (1912–1987). По состоянию на 1 января 1940 года в составе 7-го отдела работало 230 человек.