[297]. Из них 96 % представляли собой порнографические изображения знаменитостей или видео, в которых лицо звезды — почти всегда женщины — совмещено с телом порноактрисы[298]. Главными объектами стали такие звезды, как Тейлор Свифт и Скарлетт Йоханссон, но когда-нибудь жертвой цифрового абьюза может стать практически каждый, особенно если технология усовершенствуется и инструменты создания дипфейков станут более доступными и простыми для применения.
Качество дипфейков постоянно растет, и угроза того, что сфабрикованные аудио или видео станут по-настоящему разрушительными, кажется неизбежной. Как свидетельствует вымышленный пример из начала этой главы, внушающий доверие дипфейк способен буквально изменить ход истории, а средства создания подобных подделок скоро могут оказаться в руках политтехнологов, иностранных правительств или даже подростков, любящих похулиганить. Беспокоить это должно не только политиков и знаменитостей. В эпоху вирусных видео, кампаний шельмования в соцсетях и «культуры исключения» практически каждый может стать объектом дипфейка, грозящего разрушить карьеру и жизнь. Как следствие истории расовой несправедливости в Соединенных Штатах угроза срежиссированного социального и политического взрыва здесь особенно серьезна. Мы уже знаем, что вирусные видео, запечатлевшие жестокость полиции, могут почти мгновенно вызывать массовые протесты и социальные волнения. Совершенно нельзя исключать то, что в будущем можно будет синтезировать — например, силами иностранной разведывательной службы — настолько провокационное видео, что оно станет угрозой для самого общественного устройства.
Помимо целенаправленного подрыва и разрушения открываются практически неограниченные противозаконные возможности для желающих попросту заработать. Преступники охотно будут пользоваться этой технологией для самых разных целей, от мошенничеств с финансами и страховкой до манипулирования рынком ценных бумаг. Видео, в котором генеральный директор делает ложное заявление или, например, странно себя ведет, грозит обрушить акции компании. Дипфейки создадут помехи для работы правовой системы. Сфабрикованные медийные материалы можно будет предъявлять как доказательства, вследствие чего судьи и присяжные рискуют однажды оказаться в мире, где трудно или даже невозможно понять, правда ли то, что они видят собственными глазами.
Разумеется, над решениями этих проблем работают умные люди. Например, компания Sensity поставляет программное обеспечение, по ее словам способное распознавать большинство дипфейков. Однако технология не стоит на месте, что делает неизбежной «гонку вооружений» наподобие той, что идет между создателями компьютерных вирусов и компаниями, продающими программы для защиты от них. В этой гонке у злоумышленников постоянно будет пусть минимальное, но преимущество. По словам Яна Гудфеллоу, он не смог бы определить, является ли изображение реальным или фейковым, только «рассматривая пиксели»[299]. В конечном счете нам придется полагаться на механизмы аутентификации, например киберподписи к фотографиям и видео. Может быть, когда-нибудь каждая видеокамера и каждый мобильный телефон будут добавлять цифровую подпись в каждую запись. Один стартап, Truepic, уже предлагает приложение, поддерживающее эту функцию. В число его клиентов входят крупнейшие страховые компании, которые по присылаемым клиентами фотографиям оценивают все что угодно, от зданий до ювелирных изделий и дорогих вещиц[300]. Тем не менее, по мнению Гудфеллоу, это в конце концов не станет полноценным технологическим решением проблемы дипфейков. Нам придется каким-то образом научиться ориентироваться в новой беспрецедентной реальности, где все, что мы видим и слышим, может оказаться иллюзией.
Дипфейки призваны вводить людей в заблуждение. С этой проблемой связана другая — злонамеренное фабрикование данных, призванных обмануть или подчинить алгоритмы машинного обучения. В ходе таких «состязательных атак» специально созданная входная информация заставляет систему машинного обучения совершать ошибку, позволяя атакующему добиться желаемого результата. В случае машинного зрения в картину помещают какой-то предмет, искажающий ее интерпретацию нейросетью. Известен случай, когда исследователи брали фотографию панды, идентифицируемую системой глубокого обучения правильно с уверенностью 58 %, добавляли тщательно сконструированный визуальный шум и заставляли систему с уверенностью 99 % принимать ее за гиббона[301]. В ходе особенно пугающей демонстрации обнаружилось, что добавлением к знаку «Движение без остановки запрещено» всего лишь четырех маленьких прямоугольных черно-белых наклеек можно внушить системе беспилотных автомобилей, что это знак, ограничивающий скорость 45 милями в час[302]. Иными словами, состязательная атака может иметь смертельные последствия. В обоих приведенных примерах человек просто не обратил бы внимания на сбивающую с толку информацию и, безусловно, не был бы обманут. На мой взгляд, это самая яркая демонстрация того, насколько поверхностным и хрупким являются представления, формирующиеся в современных глубоких нейросетях.
Сообщество исследователей ИИ серьезно относится к состязательным атакам и считает их критической уязвимостью. Ян Гудфеллоу посвятил значительную часть своей исследовательской карьеры вопросам безопасности использования систем машинного обучения и созданию способов защиты. Сконструировать системы ИИ, неуязвимые для состязательных атак, непросто. В одном из подходов применяется так называемое соревновательное обучение, при котором в обучающие выборки специально включают состязательные примеры в надежде, что нейросеть сможет идентифицировать атаки. Однако, как и в случае дипфейков, здесь почти неизбежна постоянная гонка вооружений, в которой атакующие всегда будут на шаг впереди. Как отмечает Гудфеллоу: «Никто еще не создал по-настоящему мощный алгоритм защиты, способный противостоять разнообразным атакующим алгоритмам на основе состязательности»[303].
Хотя состязательные атаки касаются исключительно систем машинного обучения, они станут очень серьезной проблемой в списке компьютерных уязвимостей, которыми смогут воспользоваться киберпреступники, хакеры или иностранные разведывательные службы. Поскольку искусственный интеллект применяется все шире, а интернет вещей усиливает взаимосвязь устройств, машин и инфраструктуры, вопросы безопасности становятся намного более значимыми с точки зрения последствий, а кибератаки наверняка участятся. Более широкое применение ИИ неизбежно вызовет появление более автономных систем с меньшим участием людей, которые станут привлекательными целями для кибератак. Представьте, например, ситуацию, когда продукты питания, лекарства и важнейшие расходные материалы доставляются беспилотными грузовиками. Атака, которая заставит эти транспортные средства остановиться или хотя бы создаст серьезные задержки в исполнении заказов, может иметь опасные для жизни последствия.
Из вышесказанного следует, что более широкая доступность и использование искусственного интеллекта будут сопряжены с системными рисками, в том числе угрозами важнейшим инфраструктурным объектам и системам, а также общественному порядку, нашей экономике и демократическим институтам. Я бы сказал, риски для безопасности — это в краткосрочной перспективе важнейшая угроза, связанная с развитием искусственного интеллекта. Поэтому абсолютно необходимо вкладывать средства в исследования, направленные на создание надежных ИИ-систем, и формировать действенную коалицию центральных властей и коммерческого сектора с целью выработки мер регулирования и защиты еще до появления критических уязвимостей.
Автономные системы летального вооружения
Сотни миниатюрных дронов роем несутся по Капитолию. Это скоординированная атака. С помощью технологии распознавания лиц дроны идентифицируют определенных людей и летят прямо к ним словно убийцы-камикадзе с миниатюрными зарядами, которые убивают так же эффективно, как пуля. В здании конгресса царит хаос. Впоследствии выясняется, что все члены конгресса, ставшие мишенями для атаки, состояли в одной политической партии.
Это лишь один из ужасающих сценариев, показанных в короткометражном фильме 2017 года «Роботы-убийцы»[304]. По замыслу авторов, этот фильм должен служить предостережением о реальной угрозе автономных систем летального вооружения. Съемочная группа сотрудничала со Стюартом Расселом, профессором компьютерных наук из Калифорнийского университета в Беркли, который в последние годы занимается проблемой неотъемлемых рисков искусственного интеллекта. Рассел убежден, что автономные системы летального вооружения — то есть системы, которые, по определению ООН, способны «обнаруживать, выбирать и уничтожать живые цели без участия человека»[305], — необходимо признать новым типом оружия массового уничтожения. Иными словами, подобные системы вооружений на основе ИИ могут стать такими же разрушительными и вызывать такой же хаос, как химическое, биологическое и даже ядерное оружие.
Это утверждение опирается прежде всего на следующий факт: с устранением прямого контроля человека и необходимости получать разрешение на убийство масштабы разрушений, вызываемых этим оружием, можно наращивать бесконечно. Теоретически любой дрон можно использовать как оружие, и таких дронов могут быть сотни, но, если они управляются дистанционно, вам потребуются еще и сотни операторов. Если же дроны полностью автоматизированы, достаточно горстки людей, чтобы совершить массированный налет и устроить бойню немыслимых масштабов. Как сказал Рассел в нашем разговоре, «появляется возможность организовать атаку, в ходе которой пятеро парней, сидящих в центре управления, запускают 10 000 000 боевых дронов и истребляют всех мужчин от 12 до 60 лет в какой-нибудь стране. Это уже оружие массового уничтожения — оно обладает таким свойством, как масштабируемость»