Административно-организационное управление — начальник административного отдела А.П. Флексер, начальник организационного отдела И.М. Островский, начальник санитарной части М. г. Кушнер;
Управление лагерей (организовано в апреле 1930 г., с октября того же года — Главное управление) — первого начальника Управления Ф.И. Эйхманса (латыша) сменил в июне 1930 г. Л.И. Коган (бывший помощник начальника Особого отдела, также выдвиженец Е. г. Евдокимова, под руководством которого служил на Северном Кавказе), заместителем стал Матвей Давидович Берман, одним из 2-х помощников — Я.Д. Раппопорт.
После объединения в сентябре 1930 г. Контрразведывательного, Особого и Восточного отделов в Особый отдел одним из 2-х заместителей начальника отдела Яна Ольского (поляка) стал З.М. Залин, служивший под начальством Ольского на Западном фронте в 1920 г. (вторым заместителем стал С.В. Пузицкий).
После объединения в марте 1931 г. Секретного отдела и ИНФО-ПК в Секретно-политический отдел его возглавил Агранов, заместителем его стал Иван Васильевич Запорожец (украинец), начальником 1-го отделения (работа в городах, политические ссыльные, иностранные работники) — В.М. Горожанин.
В июле-августе 1931 г. по решению Политбюро в руководстве ОГПУ произошли крупные персональные изменения. Причиной послужило коллективное выступление второго зампреда и начальника ИНО С.А. Мессинга, начальника СОУ Е. г. Евдокимова, начальника ОО Я.К. Ольского, начальника АОУ, ГУПВО и Главной инспекции по милиции и уголовному розыску при ОГПУ И.А. Воронцова, полпреда ОГПУ по Московской области Л.Н. Вельского против первого зампреда Ягоды (в частности, они обвиняли его в фабрикации следственных дел на командиров Красной Армии — бывших офицеров царской армии). Уже один факт такого конфликта, в котором против еврея Ягоды выступили русские Евдокимов и Воронцов, евреи Мессинг и Вельский, поляк Ольский, показывает несостоятельность домыслов о якобы взаимной поддержке евреями друг друга (в частности, и в органах госбезопасности). Ягоду поддержал председатель ОГПУ В.Р. Менжинский, и хотя сам Генрих Григорьевич в итоге переместился с поста 1-го заместителя на должность 2-го зампреда (1-м замом стал Иван Алексеевич Акулов, старый партийный работник, в ЧК ранее не служивший, а 3-м зампредом руководитель украинского ГПУ Всеволод Аполлонович Балицкий), его противники пострадали гораздо серьезнее. По постановлению Политбюро были уволены из ОГПУ Мессинг, Ольский, Воронцов и Вельский, Евдокимов переведен из Центра (сперва в Ленинград, затем в Среднюю Азию). Агранов, не участвовавший в конфликте, был назначен членом Коллегии (как и преемник Мессинга в руководстве разведкой А.Х. Артузов) и в сентябре того же года перешел из СПО в ПП ОГПУ Московской области, вместо уволенного Вельского.
В результате разукрупнения тогда же Административно-организационного управления новое Управление делами ОГПУ возглавил Яков Маркович Вейншток (также протеже Евдокимова), а Финансовый отдел, теперь подведомственный непосредственно председателю ОГПУ, — Л.И. Берензон, бессменный финансист ВЧК-ОГПУ с 1918 г.
В ходе кадровых изменений начальником Отдела центральной регистрации (ОЦР) стал близкий к новому зампреду Балицкому украинский чекист Яков Вульфович Письменный, в Особом отделе, частично «очищенном» от соратников Ольского (был переведен в Ташкент З.М. Залин), заместителем начальника был назначен другой выдвиженец Балицкого — И.М. Леплевский (в ноябре того же года возглавил ОО ОГПУ). Но группе Ягоды — Прокофьева удалось сохранить контроль над ЭКУ, начальником которого в августе 1931 г. стал Л. г. Миронов. В июне 1932 г. Л.И. Когана на посту начальника ГУЛАГ сменил М.Д. Берман.
В октябре 1932 г. после перехода И.А. Акулова на партийную работу пост 1-го зампреда ОГПУ остался незамещенным, но фактически с этого времени (с декабря 1932 г. фактически не работал в центральном аппарате В.А. Балицкий, направленный на Украину) деятельностью органов ОГПУ руководил 2-й зампред Ягода, оказывавший значительное (но далеко не абсолютное) влияние на кадровые вопросы. Ягода способствовал удалению на Украину (вслед за Балицким) Израиля Леплевского, которого сперва фактически (как заместитель начальника), а с июня 1933 г. и формально (как начальник отдела) сменил в ОО ОГПУ Марк Гай.
Ко времени смерти председателя ОГПУ В.Р. Менжинского (10 мая 1934 г.) и реорганизации органов госбезопасности летом 1934 г. евреи на руководящих постах в ОГПУ были представлены следующим образом: 2-й заместитель председателя г. г. Ягода;
Заместитель председателя Я.С. Агранов (с февраля 1933 г.);
Член Коллегии (с мая 1933 г.) Л. г. Миронов (начальник ЭКУ);
Особоуполномоченный при председателе ОГПУ А.Я. Беленький;
В ИНО — заместитель начальника отдела А.А. Слуцкий (в марте 1933 г. заменил на этом посту переведенного в СПО М.С. Горба), помощник начальника В.М. Горожанин, начальники отделений: 1-го (нелегальная разведка) Л.А. (Н.И.) Наумов (Эйтингон), 2-го (контроль за въездом и выездом иностранцев) — Я.М. Бодеско-Михали, 6-го (восточного) — вр. и. д. Илья Гедеонович Герт (в 1933 г.), 7-го (внешняя контрразведка в советских представительствах за границей) — Эрнест Яковлевич Фурман, 8-го (научно-техническая разведка) — Петр Давидович Гутцайт;
Секретно-политический отдел — заместитель начальника Генрих Самойлович Люшков (ранее помощник начальника и начальник 2-го отделения), помощник начальника (и начальник 4-го отделения) М.С. Горб;
Особый отдел — начальник отдела М.И. Гай, начальники отделений Семен Григорьевич Гендин, Владимир Семенович Гарт, Владимир Маркович Кононович;
Оперативный отдел — К.В. Паукер, заместитель начальника Зиновий Маркович Волович, помощники начальника Борис Яковлевич Гулько, М.М. Алиевский;
ЭКУ-начальник управления Л. г. Миронов, помощник начальника Д.М. Дмитриев (до 1933 г. этот пост занимал также A.M. Минаев-Цикановский), начальники отделений Я.П. Ржавский, Я.Ш. Дашевский, Я. г. Рыбальский, И.И. Ильицкий, Я.Б. Лоев, А. г. Горянов-Горный;
Главное управление пограничной охраны и войск ОГПУ — начальник политотдела Лев Борисович Рошаль;
Управляющий делами И.М. Островский (сменил на этом посту Вейнштока в феврале 1933 г.);
Главное управление рабочее-крестьянской милиции — Л.Н. Вельский (с января 1934 г.);
Кооперативное управление войск, сотрудников ОГПУ и милиции — Моисей Борисович Шнеерсон (с марта 1934 г.).
В территориальных органах ОГПУ в период от смерти Дзержинского до изменения административного деления СССР, ликвидации губерний и образования краев и областей (1928–1930 г.г.) губернские отделы возглавляли: Курский — Б.М. Гордон (с декабря 1926 по июнь 1928 г.), Вятский — З.К. Аргов (до лета 1928 г.), в ПП ОГПУ в ЛВО — полпред (до октября 1929 г.) С.А. Мессинг, Вологодский ГО — вр. и. д. начальника Николай Сергеевич (Карпель Рафаилович) Шершевский (апрель-октябрь 1927 г.); в Приволжском ВО — начальник Самарского ГО Б.А.Бак (с ноября 1927 г.); ГПУ автономных республик РСФСР — в Крыму полпред г. Я. Раппопорт (апрель 1928-декабрь 1929 г.). Также руководящие посты занимали: в ПП по Сибирскому краю — зам. полпреда И.Б. Лернер (1928–1929 г.г.), в ПП по Белорусскому ВО — зам. полпреда З.М. Залин (с июня 1927 г.), в ПП в Средней Азии — полпред Л.Н. Вельский, зам. полпреда М.Д. Берман (в 1927–1928 г.г. одновременно председатель ГПУ Узбекской ССР), председатель ГПУ Турменской ССР В.А. Каруцкий. В ГПУ УССР и ПП по Северо-кавказскому краю в интернациональных колективах было немало руководящих чекистов-евреев (в Ростове под руководством Евдокимова работали П. г. Рудь, В.М. Курский, И.Я. Дагин, Я.А. Дейч, Я.М. Вейншток, С.Н. Миронов, Л.И. Коган и др., занимавшие различные крупные посты).
К середине 1930 г. после проведенной реформы в РСФСР насчитывалось 8 краев и 6 областей. Среди их руководителей в период до ликвидации ОГПУ в июле 1934 г. были следующие чекисты еврейского происхождения:
Московская область (с 1929 г., ПП организовано в феврале 1930) — Л.Н. Вельский (февраль 1931-август 1931 г.г.), Я.С. Агранов (сентябрь 1931-февраль 1933 г г.), заместителями полпреда были в разное время З.Б. Кацнельсон, Я.А. Дейч, Особый отдел МВО возглавляли И.Б. Лернер, А.А. Арнольдов (Кессельман);
Западная область (Смоленск) — З.М.Залин (19 291 930 г.), И.М. Блат (с 1931 г.);
Центрально-Черноземная область (Воронеж) — С.С. Дукельский (с 1932 г.);
Уральская область — г. Я. Раппопорт (1931–1933 г.г.), после разделения УО на Свердловскую и Челябинскую в январе 1934 г. ПП ОГПУ в последней возглавил A.M. Минаев-Цикановский;
Нижегородский (с 1932 Горьковский) край — М.С. Погребинский (с 1933 г.);
Средне-Волжский край — Б.А.Бак (с 1928 г.);
Нижне-Волжский край (Саратов, с 1932 г. — Сталинград) — П. г. Рудь (1931–1933), Л. Н. Вельский (1933–1934 г.г.), после разделения края в январе 1934 г. на Сталинградский и Саратовский ПП ОГПУ возглавили соответственно г. Я. Раппопорт и И.М. Леплевский;
Северо-Кавказский край (с 1924 г.) — после разделения в январе 1934 г. на Азово-Черноморский (Ростов-на-Дону) и Северо-Кавказский (Пятигорск) края ПП ОГПУ возглавили соответственно П. г. Рудь и И.Я. Дагин;
В ПП в Ленинградском ВО, Ивановской промышленной области, Северном (Архангельск), Западно-Сибирском, Восточно-Сибирском и Дальневосточном краях сотрудники еврейского происхождения занимали менее значительные должности;
В ПП в автономных республиках (Казахстан, Крым, с 1931 г. Татарская и Башкирская АССР, непосредственно Центру подчинялась также Якутия, остальные АССР входили в края) — В.А. Каруцкий (ПП в Казахстане с 1931 г.), в Башкирии — М.С. Погребинский (пред. ГПУ с 1929 г., ПП с 1931 г.) и Н.П. Зеликман (с 1933).
Председателями ГПУ союзных республик и одновременно полпредами ОГПУ в них были г. Я. Раппопорт (БССР, 1930–1931 г.г.), Л. г. Миронов (Средняя Азия, 1930–1931 г.г.).
В ГПУ УССР областные отделы (с 1932 г.) возглавляли: в Киеве — А.Б. Розанов, в Одессе — Ю.М. Перцов (в 1933 г. арестован и осужден за контрабанду), в Днепропетровске — С.Н. Миронов (с 1933 г.), в Донецкой области — М.Б. Гроссман (1932–1933 г.г.), в Виннице — Д.М. Соколинский (с 1932 г.), в Молдавской АССР — Соколинский (1932) и И.Ю. Купчик (1932–1933 г.г.).