Все это повышает значимость проблемы компьютерной безопасности до невиданного прежде уровня. Существует принципиальная разница между масштабами таких проблем, как взлом компьютера и потеря данных из него и взлом кардиостимулятора, повлекший за собой смерть человека. Последствия в каждом из этих случаев будут разными, несмотря на одни и те же методы злоумышленников – взлом операционной системы, внедрение вредоносных программ.
В основе работы компьютеров лежат программные алгоритмы. В главе 1 я говорил об ошибках в ПО, а также о возросшей уязвимости компьютерной системы, вызванной ее сложностью. Однако существует еще один аспект, который усугубляет проблему.
Машинное обучение[53] (МО) строится на специальных программных алгоритмах, позволяющих перерабатывать и анализировать большой объем данных – по сути, учиться на собственном опыте и со временем повышать эффективность принятия решений.
Алгоритмы МО (АМО) получают широкое внедрение, потому что они работают быстрее и лучше, чем люди, особенно когда речь идет о большом объеме информации. АМО выдают нам результаты нашего поиска, решают, что должно появляться в ленте новостей нашей социальной сети, определяют нашу кредитоспособность и спектр государственных услуг, на которые мы имеем право. АМО знают, что мы смотрели и читали, и используют эту информацию для того, чтобы рекомендовать книги и фильмы, которые могут нам понравиться. АМО классифицируют фотографии и переводят тексты с одного языка на другой. АМО мастерски играют в го, читают рентгеновские снимки и диагностируют онкологические заболевания, информируют о решениях суда об освобождении под залог, вынесении приговора и условно-досрочном освобождении. АМО анализируют речь, чтобы выявить риск суицида, и определяют по чертам лица сексуальную ориентацию человека. АМО превосходят нас в оценке качества бордо, помогают в приеме на работу «синих воротничков»[54], им нет равных в расчете траектории и точности стартового удара в американском футболе.
МО используется для поиска спама и фишинговых сообщений в электронной почте, а также для того, чтобы фишинговые сообщения, отправляемые по электронной почте, сделать более разнообразными и вызывающими доверие, а потому более эффективными.
Эти алгоритмы, по существу, программируют сами себя, поэтому понять, что именно они делают, зачастую не представляется возможным. Например, Deep Patient – это система МО, идеально точно диагностирующая шизофрению, диабет и некоторые виды рака (как правило, ее прогнозы точнее, чем прогнозы признанных специалистов). Несмотря на то что для всех очевидны преимущества работы Deep Patient, никто не может точно сказать (даже после анализа АМО), как именно она функционирует.
В общем и целом нас устраивает точность диагностики компьютерной системы, и, выбирая между ней и врачом-человеком, мы отдаем предпочтение МО. Поэтому системы МО получают все большее распространение в разных областях жизни.
По той же причине АМО становятся более автономными. Автономность – возможность систем действовать независимо от человека, без контроля или наблюдения с его стороны. Автономные системы скоро появятся везде. Изданная в 2014 г. книга Вильяма Месснера «Автономные технологии» (Autonomous Technologies) содержит главы, посвященные автономным транспортным средствам в сельском хозяйстве, автономным системам благоустройства и озеленения территорий, а также автономным устройствам для наблюдения за состоянием окружающей среды. Уже сейчас автомобили автономно могут делать некоторые вещи – держаться в нужной полосе, сохранять дистанцию относительно впередиидущего транспортного средства, тормозить без участия человека, чтобы предотвратить столкновение. Агенты – компьютерные программы, действующие от вашего имени, например, покупающие акции, если цена падает ниже определенного уровня, – вполне обычное явление.
Будучи встраиваемыми в различные приборы и устройства, алгоритмы приобретают физическую оболочку. Об этом я думал, когда описывал интернет+ как компьютерную систему, которая может оказывать на окружающий мир непосредственно физическое воздействие. Оглянитесь, и вы увидите компьютеры повсюду – начиная со встроенных медицинских приборов и заканчивая автомобилями и атомными электростанциями.
Даже алгоритмы, которые мы не воспринимаем как автономные, на самом деле являются таковыми. Технически решения об освобождении под залог принимают судьи-люди. Но если они будут следовать рекомендациям алгоритма, беспристрастного в этих вопросах, это будет означать, что алгоритм фактически автономен. Так же будет обстоять дело в вопросах медицины, если врач при принятии решения об онкологической операции будет следовать рекомендациям алгоритма, в военном деле, если офицер доверится алгоритму, рассчитывая цель удара дрона. Этого не происходит, пока человек самостоятельно принимает решения.
Риски применения АМО значительны. Можно взломать как сами алгоритмы, так и их ПО (об этом мы говорили в главе 1). Все атаки, описанные в предыдущих главах, основаны на взломе ПО.
Алгоритмы требуют точности данных. Чтобы алгоритмы функционировали правильно, им нужна достоверная информация об окружающем мире. И мы должны обеспечить точность этих сведений, хотя понятно, что иногда они могут быть искажены. Манипулирование входными данными – один из способов атаки на алгоритмы. В сущности, если мы позволяем компьютерам думать за нас, а входные данные искажены, машины будут думать неправильно, а мы об этом можем и не узнать.
В ситуациях, которые называют враждебным МО, злоумышленник пытается ввести в систему ложные данные, способствующие выводу ее из строя. Темой одного исследовательского проекта были алгоритмы классификации изображений. В ходе исследований выяснилось, что алгоритмы сумели создать изображения, абсолютно нераспознаваемые человеком, но с высокой степенью вероятности распознаваемые сетями машинного обучения. Организаторам другого исследовательского проекта удалось ввести в заблуждение визуальные сенсоры автомобиля с помощью фейковых дорожных знаков (человеческий глаз моментально распознал бы подлог). В ходе еще одного проекта исследователи добились того, чтобы алгоритм принимал винтовки за вертолеты (сейчас одно из типовых заданий университетского курса информатики – обман классификатора изображений).
Запущенный компанией Microsoft чат-бот Тау, ставший расистом и женоненавистником из-за злонамеренно загруженных в него данных, – наглядный пример, как именно хакеры могут научить любой алгоритм МО делать самые неожиданные вещи. (Было бы неплохо, если бы кому-то удалось, введя в заблуждение алгоритмы МО, обеспечить защиту от спама.) Поскольку машинные алгоритмы становятся все мощнее и используются все чаще, нам следует ожидать увеличения атак такого рода.
Существуют риски, связанные со скоростью алгоритмов. Компьютеры принимают решения и работают намного быстрее людей. Они могут осуществлять покупку и продажу акций в течение миллисекунд, такое же время им потребуется для прекращения подачи электричества в миллионы домов. Одни и те же алгоритмы можно снова и снова воспроизводить на разных компьютерах. С одной стороны, это удобно, потому что алгоритмы считают гораздо лучше, чем это делают люди, по крайней мере, быстрее, легче и рациональнее. С другой стороны, скорость работы алгоритма может затруднять его проверку.
Часто единственный фактор, замедляющий алгоритм, – вмешательство человека. Когда алгоритмы взаимодействуют друг с другом на компьютерных скоростях, результат их совместной деятельности может очень быстро выйти из-под контроля. Опасность автономных систем заключается в том, что они могут нанести серьезный ущерб прежде, чем человек успеет вмешаться в процесс.
В 2017 г. агентство Dow Jones по ошибке опубликовало материал о том, что Google покупает Apple. Разумеется, это было неправдой, что сразу понял бы любой человек. Однако торгующие акциями автоматизированные боты были введены в заблуждение, из-за чего цена на акции в течение двух минут серьезно скакала – до тех пор, пока материал не удалили.
Но по сравнению с тем, что произошло в 2010 г., это кажется незначительной проблемой. В автономных высокоскоростных финансовых системах торговли произошел «молниеносный обвал»: в течение нескольких минут акции стоимостью триллион долларов были сметены в результате непреднамеренного взаимодействия компьютеров. Инцидент закончился банкротством компании, спровоцировавшей обвал. В 2013 г. хакеры проникли в аккаунт информационного агентства Associated Press в Twitter и разместили там ложное сообщение о нападении на Белый дом. В результате рынок ценных бумаг за несколько секунд просел на 1 %.
Нам следует ожидать, что злоумышленники применят системы МО для изобретения новых видов атак, похищения персональных данных с целью совершения мошенничества или для создания более правдоподобных фишинговых сообщений. Есть основания полагать, что в ближайшие годы атаки станут более изощренными и действенными.
На конференции DefCon в 2016 г. Управление перспективных исследовательских проектов Министерства обороны США (Defense Advanced Research Projects Agency – DARPA) выступило спонсором конкурса хакеров нового типа. «Захват флага» (Capture the Flag) – популярная игра среди хакеров: организаторы создают сеть, полную багов и уязвимостей, и каждая команда защищает свой сегмент сети, атакуя сегменты других команд. В рамках конкурса Cyber Grand Challenge команды представляют программы, которые самостоятельно делают то же самое, что люди в «Захвате флага». Результаты оказались впечатляющими. Одна программа обнаружила неизвестную до сих пор уязвимость в сети, сама установила патч против бага, после чего стала использовать его для атаки на другие команды. В аналогичных состязаниях, проведенных спустя некоторое время, участвовали как человеческие, так и компьютерные команды, причем иногда компьютерные команды побеждали соперников-людей.