Для Канады, которая на протяжении многих лет поддерживала тесные отношения с Францией, особый интерес представляло содержание шифрованной переписки французского правительства. Поэтому неудивительно, что уже в середине сентября 1941 года в Исследовательском отделе был взломан первый французский код. А два месяца спустя его участь разделили все остальные коды Франции за исключением одного. К этому времени Ярдли сумел взломать еще и колумбийский код. Ему также удалось прочесть сообщения немецкой шпионской сети на Ближнем Востоке. В них описывалась диспозиция английских войск и содержались просьбы прислать взрывчатку для диверсий.
Робинсон считал, что своими успехами Исследовательский отдел был обязан исключительно Ярдли. По мнению Робинсона, Ярдли являлся прекрасным руководителем, который умел воодушевить своих подчиненных на трудовые подвиги. Все его любили и считали, что он вносит неоценимый вклад в общее дело. Ярдли сумел обучить сотрудников Исследовательского отдела дешифрованию, и под его руководством они разработали новые методы для решения поставленных перед ними задач. В министерстве иностранных дел, а также в армейской и военно-морской разведке Канады разделяли мнение Робинсона. После встречи с Ярдли сам Макензи заявил, что очень доволен продемонстрированными им достижениями в работе Исследовательского отдела.
Однако положение Ярдли было не таким безоблачным, как могло показаться на первый взгляд. Тучи над ним стали сгущаться почти сразу по прибытии в Канаду. 5 июня 1941 года канадский министр иностранных дел проинформировал английское правительство о том, что Ярдли был нанят в качестве главы дешифровальной службы Канады. В ответ англичане попросили уточнить, тот ли это Ярдли, который написал книгу «Американский Черный кабинет» и в силу этого является персоной нон грата в спецслужбах США и Англии. В министерстве иностранных дел Канады подтвердили, что это тот самый Ярдли, но отметили, что он урегулировал все спорные вопросы с американскими спецслужбами и теперь работает с ними в тесном контакте. Об этом свидетельствовал тот факт, что сам командующий войсками связи США генерал Моборн снабдил Ярдли секретными материалами по криптологии, которые он использует для в Канаде для обучения канадских дешифровальщиков. Кроме того, Ярдли подписал соглашение о неразглашении источников и методов сбора разведывательной информации.
Англичане на эту историю не купились. 16 августа 1941 года Алистер Деннистон, глава английской Правительственной криптографической школы, прибыл с визитом в США. Когда на совещании с участием американских дешифровальщиков зашла о речь о сотрудничестве Англии с другими с странами в области дешифрования, Деннистон заявил, что ни о каком взаимодействии с канадским Исследовательским отделом не могло быть и речи, пока им руководил Ярдли. То же самое Деннистон повторил на встрече с Макензи, посетив Канаду по пути на родину. А когда Макензи сослался на Моборна, то Деннистон ответил, что рекомендации Моборна – это его личное дело, поскольку кроме него в американских спецслужбах его мнение относительно Ярдли никто не разделял.
В итоге в министерстве иностранных дел Канады решили, что вопросы сотрудничества с Англией имели значительно большее значение, чем сохранение Ярдли на посту начальника Исследовательского отдела. Это решение еще больше окрепло после того, как Моборн был освобожден от занимаемой должности в августе 1941 года до истечения срока своих полномочий. К тому же Деннистон пообещал Макензи прислать в Канаду из Англии опытного криптолога, но только после того, как Ярдли покинет канадскую территорию.
Было предложено не продлять полугодовой контракт с Ярдли, который истекал 9 декабря 1941 года. Предложение поддержали далеко не все, кто имел отношение к работе Исследовательского отдела. На очередном заседании специального наблюдательного комитета Макензи сказал, что принятие этого предложения «нанесет урон нашей деятельности в силу надуманных причин, связанных с дипломатией». Мнение Макензи не было принято во внимание, и 21 ноября 1941 года Ярдли было объявлено, что по истечении контракта ему придется оставить должность начальника Исследовательского отдела.
Ярдли был очень расстроен. Он настаивал, чтобы ему объяснили причины, по которым его увольняли. Ведь под руководством Ярдли Исследовательский отдел смог добиться отличных результатов. Ему сказали, что по целому ряду причин было решено, чтобы Исследовательский отдел всецело контролировался и управлялся гражданами Канады. И больше к этому добавить было нечего. Тогда Ярдли обвинил своих канадских работодателей в том, что они пригласили его приехать на работу в Канаду, заставили его поделиться своими профессиональными навыками и имевшимся опытом в области дешифрования, а потом передали полученную от него информацию в другие руки.
Стоун посчитал, что есть какие-то более веские причины, по которым Ярдли вышел из доверия, чем история с его книгой, опубликованной более десяти лет назад. Поэтому по его инициативе 24 ноября 1942 года специальный наблюдательный комитет при министерстве иностранных дел Канады принял решение повторно рассмотреть вопрос об увольнении Ярдли. Члены комитета Лестер Пирсон и Герберт Литтл были отправлены в командировку в США, чтобы прояснить ситуацию.
Пирсон и Литтл прибыли в Вашингтон 26 ноября 1941 года. Сначала они встретились с сотрудником военно-морской разведки США Эдвардом Гастингсом, который был прикомандирован к посольству Канады в США для оперативного решения вопросов взаимодействия в области разведки между двумя странами. Гастингс сказал Пирсону и Литтлу, что американские криптологи не доверяли Ярдли, которого считали тщеславным и жадным к деньгам. По общему мнению, с технической точки зрения его криптологические способности были весьма посредственными. Гастингс добавил, что ни США, ни Англия не будут сотрудничать с Канадой в области дешифрования, пока Ярдли руководит Исследовательским отделом. Причина состояла в сильной неприязни к нему, возникшей из-за публикации «Американского Черного кабинета». И не потому, что Ярдли выдал какие-то особо охраняемые секреты. Просто ему не доверяли. А еще Гастингс заявил, что американцы были рады сплавить Ярдли в Канаду, поскольку не знали, что с ним делать в США. На это Пирсон заметил, что в своем отчете о поездке в США осенью 1941 года Робинсон и Коксетер ни словом не обмолвились о наличии признаков того, что Моборн рекомендовал Ярдли для работы в Канаде, просто чтобы избавиться от него.
На следующий день Пирсона и Литтла принял контрадмирал Лей Нойес, начальник службы связи военно-морских сил США, который руководил военно-морскими дешифровальщиками. Он заявил, что военно-морские силы не подпустят к себе Ярдли и на пушечный выстрел ввиду его ненадежности. Через несколько часов примерно то же самое Пирсону и Литтлу сказал про Ярдли заместитель директора ФБР Эдвард Тамм. А еще несколько часов спустя они встретились с преемником Моборна на посту командующего войсками связи сухопутных сил США генерал-майором Досоном Олмстедом и с начальником военной разведки полковником Отисом Садтлером. Ничего нового по сравнению с уже сказанным Нойесом и Таммом Пирсон и Литтл не услышали.
Вечером пришел черед главного криптолога войск связи Уильяма Фридмана. Он кратко поведал Пирсону и Литтлу историю взаимоотношений Ярдли и военного министерства США. Фридман считал, что Ярдли опубликовал свой «Американский Черный кабинет», так как был зол на тех, кто ликвидировал Шифровальное бюро и фактически лишил Ярдли средств к существованию. Фридман сказал, что публикация книги Ярдли заставила Японию и другие страны повысить стойкость своих кодов. Это, по мнению Фридмана, и стало первопричиной неприязни к Ярдли.
Хотя сам Фридман полагал, что Ярдли никоим образом не способен на предательство. Тем не менее после ликвидации Шифровального бюро он не привлекался к работе на американское правительство ни в каком качестве. Фридман высоко оценил способности Ярдли как талантливого руководителя, энергичного и трудолюбивого, способного мобилизовать своих подчиненных на решение задач, требующих прилежания и усердия в течение продолжительного периода времени. Что касается методов дешифрования, применяемых Ярдли, то они устарели и неприменимы для взлома современных шифровальных машин, повсеместно вошедших в употребление по всему миру. И Фридман подтвердил, что ни о каком сотрудничестве Канады с Англией и США в области дешифрования не может быть и речи, пока Ярдли руководит дешифровальной службой в Оттаве.
28 ноября 1941 года Пирсон и Литтл побеседовали с Лайвси, который помогал Ярдли взламывать японские коды в ходе Вашингтонской конференции по ограничению морских вооружений. Лайвси назвал Ярдли гением дешифрования, одновременно заметив, что он заслужил негативное к себе отношение со стороны американского правительства. В заключение беседы Лайвси сказал, что мнение англичан о Ярдли целиком определялось отношением американцев.
По возвращении в Канаду Пирсон и Литтл написали отчет о своей поездке в США. Он был подробным и объективным. Принятые ранее решения остались в силе: 1 декабря 1941 года специальный наблюдательный комитет отстранил Ярдли от должности начальника Исследовательского отдела и утвердил на нее 67-летнего английского дешифровальщика Оливера Стречи.
Ярдли боролся до последнего. Он пожаловался на невыполненное обещание дать ему возможность посетить Вашингтон, чтобы урегулировать там имеющиеся претензии к себе. Ярдли узнал, что Стречи отплывает из Англии в США 12 декабря 1941 года и попросил отсрочку исполнения приказа о своем увольнении до прибытия Стречи в Канаду. Ему никто не ответил. Тогда Ярдли предпринял последнюю попытку переломить ситуацию в свою пользу. Он написал семистраничный меморандум, в котором заявил, что является непревзойденным экспертом в области чтения фронтовой шифрпереписки японских вооруженных сил. Ярдли выразил готовность поделится имеющимися у него знаниями в этой области, если его увольнение будет отсрочено на два месяца. Не сработало.