Вопросы и проблемы автоматизации вышли за пределы технического сообщества. В оставшемся незамеченным открытом отчете Пентагона «Роль автономности в оборонных системах»{203} авторы обратили внимание на этические проблемы автоматизации боевых систем. Военные уже напрямую сталкиваются с противоречиями, связанными с автономными системами вроде дронов и приближением к грани, за которой вопросы жизни и смерти уже будут решать не люди. В одном из своих выступлений Аркин утверждал, что, в отличие от людей, автономные боевые роботы не будут чувствовать угрозы личной безопасности, а это потенциально может уменьшить сопутствующий ущерб и избежать военных преступлений. Этот вопрос – часть споров, начавшихся еще в 1970-е гг., когда командовавшие соединениями стратегических бомбардировщиков генералы обосновывали более высокую ценность самолета по сравнению с баллистической ракетой наличием «человека в контуре управления», который позволял отозвать бомбардировщик и мог оценить размер нанесенного противнику ущерба.
Аркин, кроме того, сформулировал новый набор этических вопросов. Что, если у нас будут роботы, обладающие моралью, а у противника – нет? На этот вопрос нет простого ответа. Действительно, технологии все более интеллектуального и автоматизированного оружия спровоцировали новую гонку вооружений. Добавление недорогого интеллекта к системам вооружений угрожает изменить баланс сил между странами.
Когда Аркин завершил свое выступление в величественном здании Медицинской академии в Атланте, одним из первых ему ответил директор DARPA Robotics Challenge Гилл Пратт. Он не стал опровергать точку зрения Аркина, а подтвердил, что роботы – технология двойного назначения. «Очень легко критиковать роботов, которых финансирует Министерство обороны, – сказал он. – Очень легко нарисовать робота, который похож на Терминатора, но, поскольку все вокруг нас имеет двойное назначение, это ничего не меняет. Если вы создаете робота для здравоохранения, то вам придется сделать его более автономным, чем робота-спасателя для работы в чрезвычайных ситуациях»{204}. Передовые технологии всегда вызывали вопросы относительно двойного назначения. В наши дни искусственный интеллект и автономность машин привели к переосмыслению этой проблемы. До сих пор технологии двойного назначения прямо требовали от людей принятия этических решений относительно их использования. Автономность машин или отдаляет принятие этических решений человеком, или полностью исключает его.
У нас уже есть примеры, когда ученые и инженеры в других областях задумывались о потенциальных последствиях того, что они делают, и многие из них вставали на защиту человечества. В феврале 1975 г., например, нобелевский лауреат Пол Берг призвал элиту новой тогда биотехнологии встретиться в конференц-центре Асиломар в Пасифик-Гроув, Калифорния. В то время рекомбинантная ДНК, полученная добавлением новых генов в ДНК живых организмов, была последним достижением. Оно одновременно сулило глобальный прогресс в медицине, сельском хозяйстве и новых материалах и открывало страшную возможность ненамеренного уничтожения человечества в результате появления новых микроорганизмов. Встреча ученых привела к экстраординарному решению. Группа рекомендовала молекулярным биологам воздерживаться от определенных видов исследований и приостанавливать исследования для поиска путей обеспечения безопасности. Для мониторинга отрасли биотехнологи создали независимый комитет в Национальном институте здравоохранения. За десятилетие удалось собрать достаточно данных, чтобы снять ограничения на исследования. Это был яркий пример разумного подхода общества к оценке последствий научного прогресса.
По примеру биологов в феврале 2009 г. группа исследователей искусственного интеллекта и робототехников также встретилась в Асиломаре, чтобы обсудить развитие отрасли. Встречу созвал исследователь из Microsoft Эрик Хорвиц, президент Ассоциации развития искусственного интеллекта. В предыдущие пять лет предметом обсуждения у исследователей в этой области были два тревожных сигнала. Один поступил от Рэя Курцвейла, объявившего об относительно скором появлении компьютерного сверхинтеллекта. Основатель Sun Microsystems Билл Джой также рисовал мрачную картину развития искусственного интеллекта. Он опубликовал статью в журнале Wired, где детально описывал трио технологических угроз: робототехнику, генную инженерию и нанотехнологию{205}. Джой полагал, что эти области исследований создают тройную угрозу выживанию человечества, и не видел очевидного решения.
Встретившиеся в Асиломаре исследователи искусственного интеллекта предпочли действовать менее осторожно, чем их предшественники биотехнологи. Группа светил в области компьютерной науки и робототехники, включая Себастьяна Труна, Эндрю Ына, Мануэлу Велосо и Орена Этциони, нынешнего директора Института исследований искусственного интеллекта Пола Аллена, в целом отвергла возможность появления сверхинтеллекта, который превзойдет людей, а также предположение, что искусственный интеллект может спонтанно возникнуть в интернете. Они согласились, что уже разрабатываются способные убивать автономные роботы, но их отчет, появившийся к концу 2009 г., оказался довольно спокойным. Искусственный интеллект еще не достиг того момента, когда он превращается в непосредственную угрозу. «На встрече 1975 г. речь шла о моратории на исследования рекомбинантной ДНК. Контекст совещания американской Ассоциации развития искусственного интеллекта был совершенно иным. Эта область демонстрирует довольно успешное, устойчивое развитие, однако исследователи искусственного интеллекта открыто выражают разочарование прогрессом, недостаточно быстрым с учетом существующих надежд и ожиданий»{206}, – написали авторы итогового отчета о встрече.
Так или иначе пять лет спустя вопрос автономности машин возник снова. В 2013 г., когда Google приобрела специализировавшуюся на машинном обучении британскую фирму DeepMind, считалось, что робототехники очень близки к созданию полностью автономных роботов. Крошечный стартап продемонстрировал программу, которая играла в видеоигры порою лучше людей. Отчеты о приобретении сопровождались заявлением, что Google создает «совет по этике» из-за опасений по поводу потенциального использования технологии и возможных злоупотреблений. Один из соучредителей DeepMind – Шейн Легг признал, что технология в конечном итоге может иметь негативные последствия для человеческого рода. «Я думаю, что человечество исчезнет, и технология, скорее всего, сыграет в этом определенную роль»{207}. Для исследователя искусственного интеллекта, который только что получил сотни миллионов долларов, это была странная позиция. Если кто-то полагает, что технология может уничтожить человечество, то с какой целью он продолжает разрабатывать ее?
В конце 2014 г. встреча по искусственному интеллекту повторилась – новая группа исследователей, финансируемая одним из основателей Skype, собралась в Пуэрто-Рико, чтобы обсудить вопросы обеспечения безопасности исследований. Несмотря на новую волну тревожных сигналов от таких светил, как Илон Маск и Стивен Хокинг, в открытом письме участников не было того призыва к действию, который прозвучал на встрече биотехнологов в Асиломаре в 1975 г.
Учитывая, что DeepMind была куплена Google, публичное философствование Легга приобретает особое значение. Сегодня Google – самый яркий пример потенциальных последствий развития искусственного интеллекта и усиления интеллекта. Построенная на алгоритме, эффективно собирающем знания, а затем возвращающем их людям в процессе поиска информации, Google теперь занята созданием империи роботов. Компания может создать машины, которые заменят людей: водителей, работников служб доставки и сборщиков электроники. Пока неясно, останется ли она компанией «усиления интеллекта» или будет ориентироваться на искусственный интеллект.
Новую волну беспокойства по поводу потенциальной угрозы со стороны искусственного интеллекта и робототехники рождают этические проблемы, показанные в научно-фантастическом фильме «Бегущий по лезвию». В начале фильма детектив Декард встречается с Рэйчел, сотрудницей компании, производящей роботов (или репликантов), и спрашивает ее, дорого ли стоит «ночная бабочка». Она высказывает предположение, что он не понимает ценности работы компании. «Репликанты подобны любой другой машине, – отвечает Декард. – Они или благо, или опасность. Если они благо, это не моя забота»{208}.
Сколько пройдет времени, прежде чем интеллектуальные машины Google, основанные на технологиях от DeepMind и робототехнического подразделения Google, будут вызывать такие же вопросы? Мало какие фильмы оказали такой же культурный эффект, как «Бегущий по лезвию». Всего вышло семь его версий, одна из которых режиссерская, сейчас снимается сиквел. В нем рассказывается история отставного детектива из Лос-Анджелеса, которого в 2019 г. вызвали, чтобы выследить и уничтожить группу искусственно созданных существ, известных как репликанты. Репликанты предназначались для работы за пределами планеты, но незаконно вернулись на Землю, чтобы заставить своего создателя увеличить ограниченную продолжительность их жизни. Ставший современным «Волшебником Страны Оз», этот фильм отражает надежды и страхи технологически грамотного поколения. От Железного Дровосека, который получает сердце и, таким образом, в определенной мере становится человеком, до репликантов, настолько превосходящих людей, что Декард получает приказ уничтожить их, отношение человечества к роботам превращается в определяющий вопрос эпохи.
Эти «интеллектуальные» машины никогда, возможно, не станут интеллектуальными в человеческом смысле или обладающими самосознанием. Дело не в этом. Искусственный интеллект быстро совершенствуется и приближается к уровню, когда он все в большей степени будет