Со временем эти алгоритмы будут только совершенствоваться. Злоумышленники начнут использовать программы для анализа средств защиты, станут разрабатывать новые виды атак и проводить эти атаки. Большинство экспертов в области безопасности ожидают, что ПО для проведения автономных атак в ближайшем будущем станет обычным явлением. И это не просто вопрос развития технологий. Ожидается, что компьютеры-злоумышленники будут приобретать мастерство гораздо быстрее, чем злоумышленники-люди. Вполне возможно, что уже через пять лет автономные программы будут одерживать безоговорочную победу.
Майк Роджерс, глава киберкомандования ВС США и директор АНБ, в 2016 г. высказал следующую мысль:
Искусственный интеллект и машинное обучение… – станут основой кибербезопасности в будущем. ‹…› Нужно выработать план и понять, как действовать. Для меня тут нет слова «если» – есть слово «когда».
Роботы – наиболее яркий пример автономного ПО в физической оболочке. Исследователи уже использовали уязвимости роботов, чтобы управлять ими на расстоянии, кроме того, обнаруживали уязвимости в телеуправляемых медицинских и промышленных роботах.
Автономные военные системы заслуживают отдельного упоминания. Министерство обороны США определяет автономное оружие как оружие, которое обнаруживает цель и открывает огонь по ней без вмешательства оператора-человека. Все системы вооружений несут в себе потенциальную смертельную опасность, а функционирование их в автономном режиме многократно увеличивает риск случайной смерти. Компьютеризация различных видов вооружения идет по нарастающей. Создаваемые устройства пока еще не полноценные роботы-солдаты, но в скором времени станут таковыми. Их компьютерную начинку будут взламывать, чтобы полностью вывести из строя или спровоцировать какую-нибудь неисправность. Если эти виды вооружения будут автономны, их станут взламывать и в массовом порядке обращать друг против друга или против людей. Оружие, работающее на компьютерной скорости, которому нельзя отдать приказ прекратить огонь или которое невозможно отключить, представляет собой смертельную опасность как для врагов, так и для друзей.
Источник этой опасности кроется в ИИ. За последние несколько лет мы ознакомились со множеством мрачных прогнозов. И «технари» Билл Гейтс, Илон Маск и Стивен Хокинг, и философ Ник Бостром говорили о будущем, в котором ИИ – в виде умных роботов или устройств, не поддающихся четкой идентификации, – становится настолько могущественным, что подчиняет мир и обращает людей в рабство, уничтожает или полностью игнорирует представителей человеческого рода. Пусть эти события – вопрос весьма отдаленного будущего, но такой шанс существует, и он настолько серьезен, что закрывать на него глаза было бы неправильно.
Я не склонен переоценивать опасность, исходящую от ИИ, и считаю страх перед ним скорее отражением настроений общества, чем предвестником реальных событий. ИИ и умные роботы – симбиоз таких явлений, как АМО, автоматизация и автономность системы. Риски в области безопасности, которые несут в себе эти технологии, уже присутствуют в нашей жизни, и они возрастают по мере того, как развиваются и совершенствуются эти технологии. Поэтому, хотя умные и беспилотные автомобили вызывают у меня беспокойство, я полагаю, что гораздо бóльшие риски таят в себе подключенные к интернету машины под управлением людей. Также, несмотря на свою тревогу по поводу появления роботов-солдат, я считаю, что широко распространенные автономные системы вооружений гораздо опаснее.
Я согласен с экспертом в области робототехники Родни Бруксом, который утверждает следующее:
Задолго до того, как мы увидим такие машины[55], появятся несколько менее умные и воинственные машины. До них – сварливые машины, а еще раньше – раздражающие машины. Предварят же их появление наглые и неприятные машины.
Полагаю, что с новыми рисками в области безопасности мы столкнемся задолго до того, как они станут по-настоящему серьезными.
Нам известна еще одна разновидность атак, о которых обычно говорится поверхностно. Это атаки на цепочки поставок. Я имею в виду атаки, цель которых производство, распространение и техническое обслуживание компьютеров, программного обеспечения, сетевого оборудования и т. д., – всего, что составляет интернет+, то есть вообще всего.
Например, широко распространено мнение, что сетевые продукты, изготовленные китайской компанией Huawei, содержат подконтрольные правительству бэкдоры и что продукты для обеспечения компьютерной безопасности компании Kaspersky Lab скомпрометированы российскими государственными структурами. В 2018 г. представители американских спецслужб призвали граждан воздержаться от покупки смартфонов производства китайских компаний Huawei и ZTE. Еще в 1997 г. ходили слухи о том, что продукты израильской компании Check Point содержат бэкдоры, добавленные израильскими властями. В США специалисты АНБ тайно установили подслушивающие устройства в аппаратуре компании AT&T и собирали информацию у провайдеров мобильной связи о звонках их абонентов.
Все это примеры взломов базовых продуктов и услуг, которыми мы пользуемся в интернете, с целью подрыва доверия к ним. Подобные атаки демонстрируют уязвимость всей международной цепочки поставок высокотехнологичных продуктов.
Эти риски никогда не возникали в процессе эволюции интернета и, в принципе, являются случайным результатом его тотальной распространенности. Наше компьютерное оборудование выпускается в Азии, где невысоки производственные расходы. Программисты приезжают к нам со всего мира. Все больше и больше программ пишется в таких странах, как Индия и Филиппины, в которых стоимость рабочей силы ниже, чем в США. В результате возникает путаница в цепочке поставок. Компьютерные микросхемы могут быть изготовлены в одной стране, а собираться в другой, программное обеспечение к этому же продукту может быть написано в третьей стране, собираться все это будет в четвертой стране, проверка качества будет осуществляться в пятой стране, а реализация товара – в шестой. На каждом этапе цепочки поставок безопасность конечной системы может быть подвергнута угрозе. У каждой из этих стран свое правительство, которое руководствуется своими мотивами и может потребовать от своих граждан выполнения самых разных приказов. Например, установить бэкдор на компьютерный чип – в процессе производства это не вызывает затруднений и не обнаруживается в результате большинства методов контроля.
Один из способов защиты для государства от этих атак – требование предоставить исходный код для приобретаемых программ. Китай требует показать исходный код. То же самое делают США. Kaspersky была готова предоставить по требованию любого правительства исходный код после обвинений в наличии в ее продуктах бэкдоров, установленных российскими структурами. Конечно, это палка о двух концах: страны могут применить предложенный исходный код для поиска уязвимостей, а потом воспользоваться этими уязвимостями. В 2017 г. компания HP Enterprise подверглась критике из-за того, что предоставила России исходный код продуктов обеспечения сетевой безопасности серии ArcSight.
Государственные структуры не только компрометируют продукты и услуги своей страны, но и запрещают их распространение как оптом, так и в розницу. Согласно документам, представленным Эдвардом Сноуденом, АНБ искало возможность установить свой бэкдор в оборудование Huawei. По данным Сноудена, сотрудники АНБ регулярно задерживали сетевое оборудование компании Cisco, направляемое зарубежным покупателям, и устанавливали в нем подслушивающие устройства. Это происходило без ведома Cisco, и руководство компании было в ярости, когда действия АНБ получили огласку. Но я убежден, что существуют и более сговорчивые американские компании. Бэкдоры были обнаружены в файрволах компании Juniper и роутерах тайваньского производителя D-Link. Сказать, кто именно их установил, не представляется возможным.
Хакеры внесли фейковые приложения в магазин Google Play. Внешне они ничем не отличаются от настоящих приложений, имеют схожие названия, чем и вводят людей в заблуждение, а в действительности эти приложения без ведома пользователей собирают их персональные данные. Как говорится в одном из докладов{160}, в 2017 г. ничего не подозревающие пользователи загрузили 4,2 млн фейковых приложений, в том числе фейковый WhatsApp. Правда, в тот раз пользователям повезло – приложение было предназначено только для кражи доходов от рекламы, а не для подслушивания разговоров.
Вот еще примеры из 2017 г. Хакеры, связанные с Китаем, скомпрометировали вполне законный сайт, предназначенный для скачивания CCleaner – популярного инструмента ОС Windows, в результате чего миллионы ни о чем не подозревавших пользователей скачали зараженную вирусом версию программы. Неизвестные хакеры нарушили работу механизма обновления ПО фирмы, разрабатывающей бухгалтерские программы, вследствие этого в стране стал распространяться вирус-вымогатель NotPetya. Другая группа хакеров использовала фейковые обновления антивирусной программы для распространения вредоносного кода. Исследователи продемонстрировали, как взломать iPhone с помощью зараженного сменного экрана, изготовленного сторонней компанией. Мы знаем достаточно примеров подобных атак. Поэтому многие рекомендуют не покупать подержанные устройства из интернета вещей на таких сайтах, как eBay.
Более крупные системы также уязвимы перед этими атаками. В 2012 г. Китай профинансировал и осуществил строительство здания штаб-квартиры Африканского союза в столице Эфиопии Аддис-Абебе, в том числе монтаж телекоммуникационных систем. В 2018 г. Африканский союз обнаружил, что Китай использовал эту инфраструктуру для шпионажа за компьютерами организации. В связи с этим мне на ум пришла аналогия со зданием американского посольства в Москве, возведенным русскими строителями во времена холодной войны; оно было напичкано подслушивающими устройствами.