Группа фон Трескова разработала три варианта акта: Гитлера должен застрелить смельчак-одиночка, диктатору подложат бомбу или группа военных внезапно нападет на его ставку. Заговорщики выбрали бомбу, и подполковник барон фон Герсдорф даже достал подходящую взрывчатку. Однако вслед за тем мысль военных натолкнулась на существенное препятствие. Даже если покушение на Гитлера пройдет удачно (что было крайне трудно само по себе), это отнюдь не гарантировало, что готовящийся переворот увенчается успехом и власть в стране не возьмут в свои руки ближайшие сподвижники нацистского диктатора. Жизненно необходимо было после убийства фюрера взять под свой контроль важнейшие центры и подавить сопротивление сил, верных режиму. На примете у Трескова была лишь кавалерийская часть Безелагера — резервный отряд группы армий «Центр», но этого в масштабах Третьего рейха было явно мало.
Заговорщики на Восточном фронте зашли бы в тупик, если бы Остер к этому времени не наладил контакт со второй группой, располагавшейся непосредственно в столице и возглавлявшейся генералом Ольбрихтом. После ряда встреч с главарем оппозиционеров в штабе командующего армией резерва, Ольбрихт и Остер соединили прежние планы путчей 1938―1940 годов с замыслом Трескова, в результате чего родилась новая схема, которая и легла в основу знаменитого покушения на фюрера, состоявшегося 20 июля 1944 года. Штаб-квартирой нового заговора стал в конце марта 1942 года дом находившегося в отставке фон Бека. Ольбрихт планировал использовать в момент путча расположенные в Кельне, Мюнхене и Вене войска.
Наибольшие сложности были со столицей, наполненной подразделениями СС и СД. Предполагалось, что восточную часть города займут войска, расквартированные во Франкфурте-на-Одере, но в целом даже гипотетических сил на решающем участке у армейских заговорщиков явно не хватало. Остер постарался выйти из положения, задействовав в перевороте начавшую формироваться в столице дивизию «Бранденбург», и устроил на пост ее командира известного ему своими антигитлеровскими настроениями полковника фон Пфульштейна. Хайнц, другой знакомый заместителя Канариса, стал командиром 4-го полка в той же дивизии. Но… Пфульштейн критически высказывался по поводу режима, когда возглавлял ганноверское отделение абвера, и было это в конце 30-х, но стоило фюреру всего лишь наградить его, как он вновь вспомнил о верности присяге. В довершение ко всему формирующуюся дивизию из ведения абвера забрал себе генерал Йодль, что окончательно спутало карты Остеру.
Пока столичные заговорщики безрезультатно искали части для переворота, связь между Берлином и Восточным фронтом поддерживал Шлабрендорф и в ряде случаев Донаньи. Все в том же году были установлены контакты и между основными силами гражданского и военного крыльев заговора. В августе 1942 года на Восточный фронт по выданным Остером фальшивым документам направился Герделер. В Кенигсберге он встретился с командующим группы армий «Север» генерал-фельдмаршалом фон Кюхлером, пытаясь побудить его примкнуть к генеральской оппозиции, а в Смоленске — с командующим группой армий «Центр» генерал-фельдмаршалом фон Клюге и начальником оперативного отдела его штаба генералом фон Тресковом. Клюге неоднократно критически высказывался о Гитлере, но на активные действия решиться никак не мог. С Тресковом же Герделер обсудил планы устранения фюрера. Если Герделер мечтал о том, чтобы путем переговоров побудить Гитлера уйти в отставку, то более реалистичный и решительный Тресков с самого начала ориентировался на убийство.
Этот взгляд на «проблему фюрера» разделяли и наиболее смелые офицеры, чем объясняется лавинообразное увеличение попыток покушения на Гитлера в 1943 году. В начале года Хеннинг фон Тресков планировал собственноручно застрелить его при докладе. Понимая, что шансы на успех террориста-одиночки чрезвычайно малы, он склонил офицеров Шмидта-Зальцмана и фон Клейста втроем расстрелять диктатора из пистолетов во время посещения фронта. Однако в очередной раз сработала пресловутая военная дисциплина: при обсуждении этого плана с генерал-фельдмаршалом Клюге последний резко высказался против, и этот запрет вышестоящего офицера автоматически положил конец идее застрелить Гитлера при его посещении войск группы армий «Центр». Истолковав запрет командира в узком смысле и посчитав, что он распространяется только на пистолет, Хеннинг фон Тресков и Фабиан фон Шлабрендорф заложили два взрывных устройства в самолет фюрера, на котором он в середине марта 1943 года возвращался с Восточного фронта. Однако по какой-то необъяснимой случайности ни одна из двух бомб так и не сработала.
Эстафету немедленно подхватывают берлинские заговорщики во главе с генералом Фридрихом Ольбрихтом. Обсудив вопрос с абверовцами Гизевиусом, Остером и Лахузеном, он решил предпринять новое покушение на фюрера, все в том же марте, спустя всего лишь семь дней после провала попытки взорвать диктатора в самолете. Исполнителем нового теракта Тресков назначил полковника Рудольфа Кристофа барона фон Герсдорфа, недавно овдовевшего и поэтому готового пожертвовать своей жизнью ради убийства Гитлера, намеченного на «день героев». Поскольку праздник был перенесен с 15 на 21 марта, заговорщики не располагали подробной информацией о его сценарии и не могли точно рассчитать, в какое время надо зажечь запал. В результате Герсдорф решил взорвать себя вместе с Гитлером и другими нацистскими руководителями, вооружился английской миной и занял позицию у входа. Однако, вопреки обыкновению, фюрер быстро пробежал в зал да и там пробыл всего десять минут, что было явно меньше времени, нужного для того, чтобы взрыватель успел сработать.
В июле 1943 года Тресков и Герсдорф еще раз встречаются с фельдмаршалом Клюге и в очередной раз безуспешно пытаются заручиться его согласием на устранение Гитлера. Попытки покушений активизировались с приходом 1 октября 1943 года на должность начальника штаба армии резерва полковника Клауса Шенка фон Штауффенберга. Он являлся убежденным сторонником плана убийства Гитлера в его штаб-квартире. Поскольку сам Штауффенберг поначалу не имел доступа к фюреру, он начал искать надежного исполнителя, каковым оказался молодой капитан Аксель фон дер Буше, давший свое согласие заговорщикам в ноябре.
Акцию назначили на день церемонии демонстрации нового военного обмундирования, в которой Буше должен был принимать участие. Чтобы избежать повторения неудачи фон Герсдорфа, решено было, что Буше во время демонстрации бросится на диктатора, схватит его и в тот же момент даст сработать взрывателю. На сей раз покушение сорвали союзники, за день до намеченной даты разбомбившие приготовленные для демонстрации образцы. Когда же, к декабрю, обмундирование пошили заново, Гитлер неожиданно уехал в Берхтесгаден. Этим фюрер сорвал не только покушение Буше, но и планировавшееся на 26 декабря покушение полковника Штауффенберга, решившего принести в ставку Гитлера бомбу с часовым механизмом в своем портфеле.
С конца января 1944 года Штауффенберг начал планировать на роль следующего покушающегося лейтенанта Эвальда Генриха фон Клейста. 11 февраля 1944 года Клейст согласился. Подготовка покушения и образ действий намечались аналогично, как у Буше. Но не удалось осуществить встречу фон Клейста с Гитлером. Неудачей завершились и предпринимаемые в это время попытки фон Трескова получить должность, гарантирующую выход на Гитлера. Тогда же появилась идея использовать в качестве покушающегося ротмистра Эберхарда фон Брайтенбуха, адъютанта генерал-фельдмаршала Буша, который должен был застрелить Гитлера из пистолета. 11 марта 1944 года Буш вместе с Брайтенбухом вылетает в Берлин на встречу с Гитлером, а оттуда — в штаб-квартиру Гитлера в Восточную Пруссию. На встрече Брайтенбуха с заговорщиками в Берлине ему предлагают бомбу. Поскольку Брайтенбух планировал пистолет, то он был удивлен, по отношению к бомбе настроен скептически, поскольку ни разу ее не пробовал и сомневался в возможности вовремя вставить запал. Брайтенбух решил убить Гитлера из своего 7,65-мм браунинга. 11 марта происходит встреча Гитлера с Бушем, Брайтенбух при этом присутствует, браунинг в кармане его брюк, под мышкой — папка с бумагами. Но при входе в саму приемную он был остановлен офицером СС и не пропущен. Папку с документами забирает Буш, а сам Брайтенбух остается у дверей приемной под контролем офицеров СС. Заряженный пистолет, снятый с предохранителя, в кармане брюк. Брайтенбух пытался выйти в туалет, чтобы избавиться там от оружия, поскольку был убежден, что разоблачен. Однако в туалет его не выпустили. В этот момент с совещания вернулся Буш, взявший Брайтенбуха под руку и вместе с ним полетевший в Минск. Так сорвалась и эта попытка покушения.
Начало 1943 года нанесло серьезный удар по прозападной части оппозиции. В январе в Касабланке произошла встреча Черчилля и Рузвельта. Страшась реакции Сталина, они решили не заключать никаких соглашений с деятелями немецкого Сопротивления, а добиваться полной и безоговорочной капитуляции Германии. Тучи начали сгущаться над ними и внутри страны — долго бездействовавшие органы безопасности, наконец, напали на их след. В начале 1943 года об этом предупредил Канариса его старый знакомый штурмбанфюрер СС Хартмут Плаас (кстати говоря, в Веймарской республике — видный национал-большевик). Аналогичная информация шла и от Небе.
Все началось с того, что в Праге полиция поймала валютного спекулянта с крупной партией долларов и драгоценностей. На конвертах с ценностями была написана фамилия Шмидхубер. Арестованный спекулянт признался, что продать эту партию ему поручил этот человек — офицер абвера. Попав в гестапо, Шмидхубер быстро рассказал и о контактах с Ватиканом через Мюллера, и о заговоре против режима, организованном Беком, Герделером, Донаньи и другими оппозиционерами. Однако Гиммлер распорядился в своем ведомстве дело прекратить, а собранные материалы отправить в военную юстицию. Ее следователи в апреле провели обыск в кабинете Донаньи и нашли у него в сейфе бумаги, которые поочередно неуклюже пытались спрятать сначала Донаньи, а затем и присутствовавший при обыске Остер. Разведчики, мать их за ногу!