В ходе подготовки нападения на СССР Гитлер все больше придавал этой войне характер расово-идеологической борьбы на истребление, многократно подчеркивая, что война против Сталина для него «больше, чем только война оружия». Особое качество этой войны, полное отличие от сражений в Западной и Северной Европе обнаружились весной 1941 года в заявлении Гитлера о намечаемом тотальном уничтожении России как государства и о методах господства и оккупации завоеванного жизненного пространства на востоке. Расово-идеологические представления Гитлера четко проявились 30 марта 1941 года, когда он перед почти 250 высшими офицерами вермахта в рамках речи о предстоящей «борьбе двух мировоззрений» призывал к «истреблению» коммунизма «на все времена» и к «уничтожению большевистских комиссаров и коммунистической интеллигенции». Далее эти представления содержались в изданных еще до начала войны распоряжениях, таких как директивы для особых районов, в «указе о подсудности», директивах о поведении войск и «приказе о комиссарах», а также в особом поручении Гиммлеру по работе групп боевого назначения. Эти приказы были составлены при участии главного командования вермахта и сухопутных войск; Гальдер при обсуждении проекта приказа верховного командования сухопутных войск о комиссарах также согласился с тем, что в этом восточном походе войска должны «до конца вести» «мировоззренческую борьбу». Попытка Браухича и Гальдера особым распоряжением о сохранении самообладания и дисциплины перехватить или смягчить приказ Гитлера об истреблении, оказалась безуспешной; распоряжения диктатора выполнялись на востоке в широком масштабе. Впоследствии Гальдер назвал это «позорной главой» в истории сухопутных войск.
Отсутствие резкого протеста, с одной стороны, и рутинное формальное участие — особенно генерального штаба под руководством генерал-полковника Гальдера — в осуществлении представлений Гитлера о войне на востоке в конкретные приказы и указания для собственных войск, с другой, явно обнаружили высокую меру ответственности и вовлеченности командования сухопутных войск и вермахта в радикальную истребительную войну против Советского Союза. Гитлер был бы не в состоянии осуществить свои планы против СССР в таком объеме, если бы многие специалисты и командная элита, в том числе верховное командование вермахта и верховное командование сухопутных войск, своим одобрением или своим попустительством не оказывали бы ему прямую или опосредованную поддержку и не позволили бы национал-социалистскому режиму мобилизовать антикоммунистические и антисемитские настроения на преступные акции на востоке. В этом заключена и доля участия в подобных преступлениях Гальдера, поскольку ему как начальнику генерального штаба сухопутных войск был подчинен генерал «особого назначения при главнокомандующем сухопутными войсками» генерал-лейтенант Эйген Мюллер, ответственный за разработку противоречащих международному праву приказов в сфере уголовного права и обращения с военнопленными. Он со своей рабочей группой подчинялся указаниям Гальдера, так что невозможно отрицать ответственность начальника генерального штаба за отдельные приказы и распоряжения в этой «самой чудовищной истребительной, порабощающей и разрушительной войне» — так война на востоке характеризуется в исторических исследованиях. Хотя Гальдер и заявлял позже, что он «держался в стороне» от этого, его попытка после окончания войны отрицать участие и ответственность в этом деле и представить действия верховного командования сухопутных войск как «подрывное сдерживание» не вызывает доверия.
Прежде чем осуществить хорошо проработанный план нападения на Советский Союз, Гальдер как начальник генерального штаба вынужден был весной 1941 года заниматься еще двумя военными акциями, которые отчетливо показали, с одной стороны, его способность к импровизации и оперативное мастерство, а с другой — границы его военно-политического влияния.
При обсуждении планов расширения войны на Северную Африку Гальдер не смог настоять на своем мнении, что военное вмешательство и продолжение военных действий в Ливии в целях поддержки итальянских союзников приведет к недопустимому распылению немецких сил. Так что в результате все больше немецких частей и подразделений отправлялось в немецкий африканский корпус под командованием Роммеля в Триполи. Они остались там на долгое время для стабилизации итальянского фронта и их не хватало в другом месте. В отличие от Роммеля, трезво оценивая немецкие возможности в Африке, особенно ввиду ненадежных путей подвоза через Средиземное море, Гальдер считал миссию «Лиса пустыни» всего лишь «борьбой за выигрыш времени» на второстепенном театре военных действий. Поэтому он с беспокойством наблюдал за успешным продвижением Роммеля, что вынуждало перебрасывать с других фронтов все больше соединений в Ливию. В своем дневнике Гальдер критично отзывался о Роммеле и его стиле ведения военных действий в Северной Африке. Однако он не мог предотвратить распыления сил.
Во втором случае весной 1941 года Гитлер внезапно решил начать военные действия против Югославии, Албании и Греции. В этом балканском походе генеральный штаб и группы фронтов показали свою высокую боеспособность; речь шла о том, чтобы неожиданно, с ходу провести успешные операции для быстрого завоевания Балкан и изгнания высадившихся там британских экспедиционных частей. Проведя небольшую подготовку, Гальдер с передового командного пункта в венском Нейштадте успешно осуществил продуманный план похода, так что молниеносная война вермахта на Балканах после капитуляции Югославии и Греции 17 и 23 апреля 1941 года закончилась впечатляющей победой и способствовала дальнейшему росту военно-политического авторитета Гитлера.
После того как 20 июня 1941 года он отдал приказ «Дортмунд», германский вермахт 22 июня между 3.00 и 3.30 осуществил внезапное нападение на Советский Союз. Это была крупнейшая военная операция в военной истории Германии. Из новой штаб-квартиры генерального штаба сухопутных войск под Мауервальдом в Восточной Пруссии Гальдер должен был координировать наступление 153 дивизий, насчитывающих почти 3,6 миллиона немецких и союзных солдат. Внезапное нападение удалось, советские пограничные позиции были прорваны. Уже спустя несколько дней наметились большие оперативные успехи. Красная Армия несла тяжелые потери, ее разгром в пограничных районах, казалось, подтверждал то, что запланированный «молниеносный поход» продлится всего лишь 3–4 месяца. В июле 1941 года немецкие руководящие органы, как и Гитлер, были уверены, что окончательная победа станет фактом через несколько недель. С большим оптимизмом Гальдер записал 3 июля в своем дневнике: «В общем уже сейчас можно сказать, что задача разгрома основной массы русской армии перед Даугавой и Днепром выполнена»; «не будет преувеличением», если сказать, «что поход против России был выигран в течение 14 дней». Однако в силу огромных пространств и упорного сопротивления советских солдат он «этим еще не закончен». Гальдер был убежден, что советское командование в силу политических причин сосредоточит свои вооруженные силы перед линией Даугава — Днепр, чтобы защитить западные промышленные районы и подключить все резервы для защиты Москвы, поэтому решающее для исхода войны сражение должно произойти на центральном участке фронта.
Однако военные события развивались иначе. Несмотря на огромные потери в живой силе Красная Армия оказывала немецким войскам упорное сопротивление в боях в окружении под Киевом, Вязьмой и Брянском. Была создана новая линия обороны, чтобы затем, сдерживая противника, отойти глубоко в тыл. При обсуждении следующего направления удара Гальдер с самого начала не смог настоять на своем мнении, так как Гитлер выше, чем Гальдер, оценивал значение южных районов СССР с их промышленностью, сырьем и нефтью для немецкой военной экономики. Поэтому согласно представлениям Гитлера наступление на Москву предстояло форсировать только после продвижения флангов на севере и юге. Если начальник генерального штаба сначала предполагал, что после первой фазы операции он сможет пренебречь «горизонтальными продвижениями по-пластунски» Гитлера на флангах, как он это называл, и взять столицу Сталина под прицел как главную цель наступления, то вскоре выяснилось, что это невозможно, так как Гитлер отклонил изложенные в докладных записках от 12 и 22 августа предложения генерального штаба сухопутных войск и, более того, назначил наступление танковых соединений из центра на север и юг, чтобы сначала устранить опасность для флангов и завоевать Украину и Донецкую область. Только после этого — но еще до зимы — должна была быть взята Москва. После такого прямого оскорбления со стороны Гитлера Гальдер и Браухич начали думать о том, чтобы вместе подать просьбу об освобождении их от должности. Но потом Браухич отговорил Гальдера от этого, так как чувствовал свою ответственность перед восточными сухопутными войсками.
Решение Гитлера предоставило советскому командованию достаточно времени для того, чтобы укрепить оборонительные позиции перед Москвой и подвезти обширные резервы живой силы. Когда, наконец, Гитлер приказал готовить наступление на Москву под кодовым названием «Тайфун» на конец сентября 1941 года, то в немецких руководящих кругах существовали значительные расхождения мнений о дальнейших перспективах на успех. Гальдер между тем понял, что он недооценил «колосса Россию» и очень ошибся, когда предположил, что Сталин проиграл войну еще в июле. Потери немецких сухопутных войск, начиная с августа, были невосполнимы. Тем не менее в начале ноября он разделил оптимистичную оценку положения Гитлером, чтобы провести и успешно завершить пропагандируемую им «последнюю, великую, решающую битву» за Москву.
После совещания генерального штаба в городе Орша, на которое Гальдер приехал из Восточной Пруссии, начальник генерального штаба приказал продолжить наступательные операции «с полной отдачей сил» и, несмотря на значительные трудности снабжения, энергично «форсировать» их. Он все поставил на одну карту: последним усилием Москва должна быть захвачена. В ходе наступления на Москву для того, чтобы все-таки разгромить якобы обессиленную Красную Армию, решающим фактором считалось «последнее напряжение воли и сил». Начальник генерального штаба не хотел повторения мнимого «чуда на Марне» во время первой мировой войны. Борьбу нельзя было прекращать слишком рано, так как она явно находилась на решающей стадии. При этом генеральный штаб, как и Гитлер, утратили возможность объективно оценить достигнутое. Вопрос о реальных перспективах успеха последующего наступления и Гальдеру, и Браухичу казался «вопросом воли», как того требовал Гитлер. При этом устанавливались даже утопические цели, как, например, линия Ярославль — Рыбинск — Вологда. Старый друг Гальдера генерал фон Штюльпнагель, тогда главнокомандующий 17-й армией на юге восточного фронта, предостерегал от такого высокомерия и чрезмерных требований к войскам. Последствия этого были тяжелыми. В конце ноября немецкое наступление остановилось, войска были повсюду истощены. В начале декабря танковые армии генералов Рейнхардта, Хепнера и Гудериана были вынуждены остановить наступление. Теперь Гальдер жаловался, что Гитлер не хочет понять состояние совершенно измученных и измотанных войск. Когда Красная Армия воспользовалась 5–6 декабря шансом и ловко перешла в контрнаступление, широко растянутый немецкий фронт был прорван во многих местах.