ые подписи Билла Клинтона и Сары Коннор. Под письмом поставили свои подписи более 17 000 человек, в том числе и Стивен Хокинг. А после того, как Тоби организовал пресс-конференцию обо всем этом на Объединенной международной конференции по искусственному интеллекту, публикация нашего письма стала одной из важнейших новостей для всего мира.
Из-за того что биологи и химики однажды заняли ясную позицию, их главным делом теперь считается создание полезных лекарств и новых материалов, а не разработка биологического и химического оружия. Сообщества ученых, чьи исследования относятся к разработке искусственного интеллекта и робототехнике, тоже говорили: подписавшие письмо хотят, чтобы предмет их исследований ассоциировался со стремлением к лучшему будущему, а не с созданием новых способов убивать людей. Будет ли искусственный интеллект в будущем использоваться преимущественно в гражданских или в военных целях? Хотя в этой главе больше страниц посвящено первым, может оказаться, что мы скоро потратим больше денег на последние, — особенно если военная гонка AI-оружия наберет обороты. Инвестиционные обязательства на исследование искусственного интеллекта в гражданских целях в 2016 году превысили миллиард долларов, но это ничто по сравнению с бюджетными запросами Пентагона на 2017 фискальный год, где на проекты, связанные с искусственным интеллектом, закладывается 12–15 миллиардов долларов. России и Китаю, вероятно, следует принять к сведению слова заместителя министра обороны США Роберта Уорка: «Я хочу, чтобы наших конкурентов заинтересовало, что скрывается за черным занавесом»{47}.
Хотя в настоящее время явно наметилось общее движение к международным переговорам о поисках формы запрета роботов-убийц, до сих пор неясно, каким он будет и, несмотря на довольно оживленную дискуссию, каким он должен быть. Хотя основные участники согласны, что мировые державы должны выработать какой-то проект международных правил относительно ведения исследований в области автономных систем оружия и относительно его возможного применения, у них гораздо меньше согласия в том, что именно должно быть запрещено и каким образом этот запрет должен обеспечиваться. Например, только ли летальное автономное оружие следует запрещать, или такой запрет должен касаться и тех его видов, которые серьезно угрожают здоровью людей, — скажем, ослепляя их? Запрещать надо разработку, производство или владение? Запрет должен касаться всех видов автономных систем оружия или, как сказано в нашем письме, только наступательных, не распространяясь на оборонительные системы — автономные зенитные орудия и комплексы противоракетной обороны в числе прочего? В последнем случае следует ли автономную систему оружия (АСО) считать оборонительной, даже если она легко выдвигается на вражескую территорию? И как добиваться соблюдения договора, если большинство компонентов автономного оружия допускает двойное использование, включая гражданское? Например, нет большой разницы между дроном, доставляющим бандероли от Amazon, и дроном, доставляющим бомбы.
Некоторые участники дебатов утверждают, что разработка эффективного договора по АСО безнадежно сложна и поэтому не стоит даже и пытаться. Но ведь еще Джон Кеннеди подчеркивал, объявляя о начале подготовки полета на Луну, что есть смысл приниматься даже за безнадежные дела, если их успех может принести большую пользу человечеству в будущем. Более того, многие эксперты утверждают, что запрет на биологическое и химическое оружие был ценен, даже несмотря на то, что добиться его соблюдения оказалось трудно, случаи обмана часты, но принятие запрета вызвало крайнюю нетерпимость, ограничивающую применение этих видов оружия.
Я встретил Генри Киссинджера на официальном ужине в 2016 году, и у меня появилась возможность спросить у него о его роли в запрете биологического оружия. Он рассказал, как, будучи советником по национальной безопасности США, убедил президента Никсона, что запрет будет полезен для национальной безопасности страны. На меня произвели большое впечатление и острый ум, и безупречная память этого девяностодвухлетнего человека, и мне было интересно узнать, как это событие воспринималось изнутри власти. Поскольку Соединенные Штаты уже обладали статусом сверхдержавы благодаря состоянию своих обычных и ядерных вооружений, они скорее бы проигрывали, чем что-либо приобретали в результате всемирной гонки биологических вооружений, результат которых был непредсказуем. Одним словом, если ты и так уже хозяин положения, то имеет смысл следовать максиме «пока не болит живот, не давай его трогать». После ужина к нашему разговору присоединился Стюарт Рассел, и мы обсуждали, как тот же аргумент можно использовать в отношении летального автономного оружия: больше всех выиграют от такой гонки вооружений не сверхдержавы, а мелкие государства-изгои или негосударственные субъекты типа террористов, которые получат доступ к такому оружию через черные рынки, после того как оно будет разработано.
Будучи запущены в серийное производство, небольшие дроны-убийцы, снабженные искусственным интеллектом, могут стоить немногим больше смартфона. Будь то террорист, жаждущий убить известного политика, или обманутый любовник, ищущий отмщения своей бывшей, — всё, что ему нужно сделать, это загрузить фотографию и адрес объекта преследования в память дрона: тот отправится к месту назначения, идентифицирует и уничтожит нужного человека, а после этого самоликвидируется, чтобы никто не узнал, кто стоит за случившимся. Другой вариант — для тех, кто планирует этническую чистку: дрон легко запрограммировать на убийство людей с определенным цветом кожи или другим характерным этническом признаком. По предположениям Стюарта, чем умнее будет такой вид оружия, тем меньше материала пойдет на его изготовление, тем меньшая ему понадобится огневая мощь и тем дешевле окажется каждое убийство. Например, это может быть — представим себе такую страшную картину — дрон размером со шмеля, с минимальным количеством пороха и стреляющий жертве в глаз, достаточно мягкий для проникновения даже небольшого снаряда, уходящего оттуда в мозг. Или дроны могут вцепляться в голову металлическими когтями, проникающими в череп и закладывающими туда крошечные кумулятивные заряды. Если миллион таких дронов-убийц разлетится из кузова единственного грузовика, мы получим ужасающий эффект оружия массового уничтожения совершенно нового типа, а именно: убивающего выборочно только людей определенной категории и оставляющего все остальное невредимым.
Общим контраргументом является то, что мы можем позаботиться об этических критериях роботов-убийц — например, позволив им убивать только солдат противника. Но если нас беспокоит применение этого запрета на практике, то какой вариант более вероятен: добиться от врага 100-процентного соблюдения требований этичности в использовании автономного оружия или добиться от него, чтобы такое оружие просто не производилось? Можно ли с уверенностью утверждать, что хорошо подготовленные солдаты цивилизованной армии так плохо соблюдают этические правила ведения войны, что роботы легко превзойдут их в этом, и что в то же самое время государства-изгои, диктаторы и террористические группы настолько привержены правилам ведения войны, что никогда не станут применять роботов в нарушение этих правил?
У военного применения искусственного интеллекта есть еще один аспект: он может позволить вам атаковать врага даже без создания какого-либо специального оружия, путем кибервойны. Некоторое представление о том, что нам может принести будущее, дает червь Stuxnet, созданный, по мнению многих, по поручению правительств США и Израиля: он инфицировал высокоскоростные центрифуги ядерной программы Ирана, в результате чего они разогнались до такой скорости, что разорвались. Чем более автоматизированным становится общество в целом и чем более мощным становится атакующий искусственный интеллект, тем более разрушительными последствиями может быть чревата кибервойна. Если вы можете взломать и обрушить системы управления беспилотных автомобилей вашего противника, его беспилотных самолетов, атомных реакторов, промышленных роботов, систем связи, платежных и энергосетей, то тем самым вы эффективно выведете из строя его экономику и разрушите его оборону. А если вы к тому же сможете взломать некоторые из его систем оружия, так это даже и еще лучше.
В начале этой главы был дан обзор возможностей, возникающих в связи с развитием искусственного интеллекта на благо человечества, — но это только при условии, что мы сумеем сделать его надежным и недоступным для взлома. И хотя искусственный интеллект может быть использован для того, чтобы сделать AI-системы еще более надежными, тем самым укрепляя оборону в случае кибервойны, точно так же его можно использовать и на стороне нападающих. Преобладание оборонительных задач в развитии искусственного интеллекта должно стать одним из наиболее важных требований в краткосрочной перспективе, иначе вся та могучая технология, которая нами создается, может обернуться против нас!
Работа и заработки
До сих пор речь в этой главе шла главным образом о том, как искусственный интеллект повлияет на нас как на потребителей, предоставляя нам качественно новые виды товаров и услуг по доступным ценам. Но как он может повлиять на нас как на работников, преобразуя рынок труда? Если мы сможем придумать, как достичь процветания путем автоматизации, не оставив при этом людей без заработков и без цели в жизни, то у нас есть все шансы на фантастическое будущее без забот и с беспрецедентными возможностями для всех, кто захочет ими воспользоваться. Мало кто из людей дольше и глубже размышлял об этом, чем экономист Эрик Бриньоулфссон, один из моих коллег по MIT. Хотя он всегда ухожен и безукоризненно одет, его исландское происхождение не дает о себе забыть, и я иногда не могу удержаться, представляя себе, как он подстригает свою непослушную рыжую бороду и укорачивает гриву, чтобы не слишком выделяться среди прочих в нашей бизнес-школе. Но он, конечно, не мог постричь и свои непослушные идеи и для своей полной оптимизма картины будущего рынка труда придумал название «цифровых Афин». В древности граждане Афин вели жизнь полную досуга и могли наслаждаться демократией, искусством и играми, что обычно объясняют наличием у них рабов, выполнявших всю необходимую работу. Но почему бы не заменить рабов роботами с искусственным интеллектом, не создать цифровую утопию, где каждый может наслаждаться жизнью? Экономика, поддерживаемая искусственным интеллектом, в изображении Эрика не только избавит людей от стрессов и нудной работы и в изобилии снабдит нас всем тем, о чем мы мечтаем сегодня, но она также откроет нам мир замечательных новых продуктов и услуг, о каких сегодняшние потребители даже еще и не подозревают.