В Мюнхене Гальдер опять занял позицию, направленную против методов гестапо: в январе 1935 года он предупредил своего бывшего начальника кронпринца Баварского Руппрехта о возможных акциях гестапо и партии против главы дома Виттельсбахов.
Объявление всеобщей воинской повинности командованием рейхсвера в марте 1935 года и связанное с ним быстрое увеличение рейхсвера до 36 дивизий имело для Гальдера профессиональные последствия: 15 октября 1935 года он был назначен командиром 7-й дивизии и 1 августа 1936 года произведен в генерал-лейтенанты. Как командир дивизии Гальдер руководил осенними маневрами своего соединения во всей Баварии. В ноябре 1936 года генерал-полковник фон Фрич поручил ему подготовку и проведение маневров вермахта в Мекленбурге в 1937 году, которые впервые должны были включать боевое применение и движение крупных моторизованных частей и танковых соединений. Для этой цели Гальдер как начальник вновь образованного штаба учений был командирован до сентября 1937 года в главный штаб сухопутных войск в Берлин, где он был непосредственно подчинен главнокомандующему сухопутными войсками. «С тяжелым сердцем» он оставил командование 7-й дивизией, так как этот пост командира соединения, который в сознании немецких высших офицеров представлял собой важный этап карьеры, он занимал только один год.
После маневров вермахта в Мекленбурге он остался в главном штабе сухопутных войск в качестве главного квартирмейстера под началом генерала артиллерии Людвига Бека. На этой должности Гальдер отвечал за обработку всех вопросов боевой подготовки, а как начальник отделов 4-го и 11-го также и за военно-научную и военно-историческую работу в главном штабе. На подобную должность обер-квартирмейстера в то время был назначен генерал-лейтенант Эрих фон Манштейн. Оба, таким образом, были основными сотрудниками начальника главного штаба Бека. В этот период, в феврале 1938 года, Гальдер мог с самого близкого расстояния наблюдать за событиями, связанными с отставкой Бломберга и Фрича Гитлером, когда тот избавлялся от потенциальных противников своего плана войны, который он представил узкому кругу 5 ноября 1937 года. При этом диктатор ловко использовал скандал вокруг генерал-фельдмаршала фон Бломберга, связанный с женитьбой, и ложное обвинение генерал-полковника барона фон Фрича в гомосексуализме, которые были сфабрикованы и инсценированы Герингом, а также рейхсфюрером СС Генрихом Гиммлером, начальником уголовной полиции и службы безопасности Рейнхардом Гейдрихом, чтобы принудить обоих к отставке. Гитлер непременно хотел избавиться от главнокомандующего сухопутными войсками, потому что видел в нем консервативный и «тормозящий элемент» своей военной политике и гонке вооружений; в соответствии с этим он отклонил восстановление Фрича в прежней должности главнокомандующего сухопутными войсками после того, как суд оправдал его.
Скандал Бломберга — Фрича стал для Гальдера поворотным моментом в его отношении к диктатору; после этого он был готов принять в расчет свержение режима СС, размышляя об изменении политической ситуации. Гальдер попытался повлиять на Бека, чтобы не допустить оскорбительного отношения к главнокомандующему сухопутными войсками со стороны национал-социалистского руководства. Начальник генерального штаба, однако, отклонил насильственную акцию против руководства государством, сказав, что то, чего требует Гальдер, является «мятежом, революцией». Бек возразил тогда также, что для немецкого офицера об этом не может быть и речи. Позднее он признал, что в те дни был упущен решающий момент для выступления против Гитлера. Но и Фрич не был той опорой, на которую можно было рассчитывать в борьбе против Гитлера. Он был доволен исходом судебного разбирательства о клеветническом обвинении против него и последующей реабилитацией, хотя это и не стало известно общественности. В конечном счете Гитлеру удалось успешно использовать аферу Бломберга— Фрича в своих целях и ввести новую кадровую структуру в руководстве вермахтом и сухопутными войсками.
В ходе последовавших за этим кадровых изменений Гальдер принял предложение нового главнокомандующего сухопутными войсками генерал-полковника Вальтера фон Браухича занять с 10 февраля 1938 года пост обер-квартирмейстера I и одновременно получил звание генерала артиллерии. Он отвечал за все оперативное планирование сухопутных войск, которое возлагалось на главный штаб в рамках гитлеровской политики. Очень скоро он благодаря этому познакомился с игрой Гитлера «ва-банк» и его стремлением к войне. Он соглашался с Беком в том, что следует бороться против политики силы и экспансии диктатора, но оба считали это преждевременным.
Для этого он должен был непременно завоевать также генерала фон Браухича. Под его командованием Гальдер работал еще в отделе боевой подготовки военного управления. Прежнее сотрудничество облегчало Гальдеру общение с новым главнокомандующим сухопутными войсками, который охотнее совещался с им самим предложенным обер-квартирмейстером I, чем с чересчур настойчивым начальником главного штаба. Таким образом, постепенно восстановились былые доверительные отношения между Гальдером и Браухичем, в то время как у Бека возникло ощущение, что Браухич бросил его на произвол судьбы. Если в ходе дальнейшего обострения внешнеполитической ситуации с весны 1938 года генерал Бек все более явно противился военной политике Гитлера и многократно призывал Браухича к прямому протесту, то главнокомандующий сухопутными войсками все чаще и теснее сотрудничал с Гальдером как представителем Бека, потому что взгляды Гальдера преимущественно совпадали с его точкой зрения и он не с такой последовательностью, как Бек, требовал от него выступления против «фюрера». Очевидно, Гальдер рассчитывал на то, что созданием сдерживающей внешнеполитической ситуации удастся удержать Гитлера и в конечном счете избежать прямой борьбы за власть и «поединка» с Гитлером.
Когда вконец разочаровавшийся Бек 18 августа подал в отставку, так как не видел никаких шансов действенно сдерживать военную политику Гитлера, Браухич, естественно, попросил именно Гальдера взять на себя функции начальника главного штаба сухопутных войск. После недолгого размышления и с согласия Бека 54-летний Гальдер принял предложение. Однако он не мог исходить из того, что его назначение повсюду найдет однозначное одобрение. Так, рейхсфюрер СС Генрих Гиммлер называл нового начальника главного штаба «генералом Божьей Матери» и критиковал за краткое пребывание на фронтах во время первой мировой войны, чтобы принизить его перед Гитлером. Гитлер также выразил Браухичу свои сомнения, так как полагал, что Гальдер католик и поэтому будет критически относиться к национал-социализму. В этой связи характерно то, что национал-социалисты оценивали его как ревностного прихожанина, хотя, по его собственному признанию, он никогда не был «ходоком в церковь».
Гальдер хотел использовать свое положение в духе Бека, чтобы вместе с Браухичем бороться против авантюрной военной политики Гитлера. Но возник вопрос о том, не переоценивает ли он свои возможности воздействия как начальника штаба сухопутных войск, так как созданная после введения всеобщей воинской повинности должность «начальника генерального штаба сухопутных войск» уже не имела такого влияния, как бывшие начальники главного генерального штаба в империи, каковыми были граф Мольтке и граф Шлиффен. После того как Гитлер взял на себя лично имперское > военное министерство и было вновь создано верховное командование вермахта под руководством генерала Кейтеля, эта должность занимала подчиненное место в рамках высшего руководства вермахта и имела гораздо меньшее значение, чем могло внушить звучное, традиционное название, введенное 1 июля 1935 года. Начальник генерального штаба сухопутных войск не имел самостоятельного положения и тем самым не имел права лично докладывать Гитлеру. Помимо этого, он не обладал властью отдавать приказы, хотя в текущих делах в случае отсутствия главнокомандующего сухопутными войсками замещал его. В конце концов начальник генерального штаба, после того как Бек проиграл в борьбе за новую организационную структуру командования вермахта, являлся лишь «чисто техническим бюро» одной из трех частей вермахта, даже если в генеральном штабе претендовали на ответственность за общее ведение войны рейхом.
С другой стороны, мнение Гитлера о новом начальнике генерального штаба, казалось, дает возможности влиять на военную политику диктатора, так как, судя по поздним высказываниям современников, Гитлер спустя определенное время больше доверял Гальдеру, чем Беку. Фюрер считал, что Гальдер «современно ориентирован» и «открыто идет навстречу» ходу его мысли, тем более что начальник генерального штаба как представитель баварского офицерского корпуса «значительно прогрессивнее и более положительно настроен к национал-социализму», чем офицеры из «так называемого прусского офицерского корпуса», как объяснял сам Гитлер. Тем не менее Гальдер не мог обойти Браухича и непосредственно проверить свои возможности влиять на Гитлера. Таким образом, основной оставалась задача завоевания главнокомандующего как передового борца против авантюрной внешней и военной политики Гитлера.
Мог ли Гальдер считать себя способным решить подобную задачу? Был ли он столь энергичен, располагал ли таким воодушевлением, чтобы увлечь за собой офицерский корпус и колеблющегося главнокомандующего? Или он больше надеялся на то, что сумеет тщательным планированием, продуманностью и осуждением гитлеровской политики «ва-банк» убедить его в правильности своей критической точки зрения и привлечь тем самым Браухича к борьбе против диктатора? Что для этого ему требовалось? Карьера Гальдера была отмечена оказанием ему предпочтения на постах в генеральном штабе. Он был рекомендован на пост начальника генерального штаба сухопутных войск или какого-либо другого высшего штаба. Помимо периода с 1923-го по 1925 год, когда он был командиром роты, он только с октября 1935-го по ноябрь 1936 года командовал войсковой частью. Но зато он был наилучшим образом подготовлен к выработке военных решений или всесторонне, взвешивая все возможности, консультировать того или иного командующего. Как офицер генерального штаба он привык к «добросовестному выполнению долга» и «надлежащему прохождению службы». В силу отмеченного у него еще ранее обостренного чувства ко всему реально возможному на должности обер-квартирмейстера он доказал больше реализма, чем генерал Бек, потому что понимал, что представления Бека о коллективной акции высшего командного состава против Гитлера неосуществимы. Он продумывал другие воз? можности пресечения действий Гитлера, однако не был готов к убийству тирана.