Эта ситуация порождает много очевидных вопросов. Например, будет ли кто-то или что-то контролировать ОИИ, управляющий планетой? Должны ли мы стремиться к подчинению сверхразумных машин? Если нет, можем ли мы гарантировать, что они будут понимать, принимать и сохранять человеческие ценности? Как писал Норберт Винер в «Человеческом применении человеческих существ»:
Горе нам, если мы позволим ей [машине] определять наше поведение, прежде чем изучим законы ее действий и не будем полностью уверены, что ее работа станет строиться на приемлемых для нас принципах. С другой стороны, подобная джинну машина, способная к обучению и принятию решений на базе этого обучения, никоим образом не окажется обязанной принимать те решения, какие приняли бы мы сами или какие были бы приемлемыми для нас.
А кто такие «мы»? Кто должен находить «такие решения… приемлемыми»? Даже если некие будущие власти решат помочь людям выжить и достичь процветания, как мы отыщем смысл и цель своего существования, если нам ничего не будет нужно?
Содержание споров о влиянии ИИ на общество резко изменилось за последние несколько лет. В 2014 году публичных обсуждений риска появления ИИ почти не было, от предупреждений отмахивались как от «луддитского паникерства» – по одной из двух логически несовместимых причин:
(1) ОИИ – не более чем шумиха, он появится в лучшем случае через столетие.
(2) ОИИ, вероятно, появится скоро, но практически гарантированно принесет людям пользу.
Сегодня разговоры о влиянии ИИ на общество слышатся повсюду, а работа по безопасности и этике ИИ переместилась в компании, университеты и научные конференции. Главное в исследованиях безопасности ИИ уже не в том, чтобы его защищать, а в том, чтобы его отвергать. Открытое письмо конференции разработчиков и исследователей ИИ в Пуэрто-Рико в 2015 году (оно помогло обеспечить безопасность ИИ) весьма смутно рассуждало о важности эффективности искусственного интеллекта, но асиломарские принципы ИИ (2017, см. ниже) стали настоящей декларацией: в них прямо говорится о рекурсивном самосовершенствовании, сверхразуме и экзистенциальном риске. Этот документ подписали лидеры индустрии и более тысячи исследователей ИИ со всего мира.
Тем не менее большинство дискуссий ограничиваются обсуждением ближайших перспектив ИИ, а широкая публика уделяет сравнительно малое внимание драматическим преобразованиям, которые ОИИ способен осуществить на планете. Почему?
Прежде всего, обратимся к простой экономике. Всякий раз, когда мы выясняем, как избавить человека от очередного занятия, придумывая машину, которая справится с такой работой лучше и дешевле, общество в целом выигрывает: те, кто проектирует и использует машины, получают прибыль, а потребителям достаются более доступные и качественные товары. Это столь же справедливо для будущих инвесторов и исследователей ОИИ, как было справедливо для ткацких станков, экскаваторов и промышленных роботов. В прошлом пострадавшие люди обычно находили себе новые рабочие места, но сегодня с этим намного сложнее, хотя базовый экономический постулат продолжает действовать. Появление работоспособного ОИИ, по определению, означает, что всякий труд становится дешевле благодаря машинам, поэтому любой, кто утверждает, что «люди всегда найдут себе новые высокооплачиваемые рабочие места», фактически предполагает, что сообщество ИИ не сумеет создать ОИИ.
Во-вторых, Homo Sapiens по своей природе любознателен, и это качество будет мотивировать ученых на стремление постичь разум и создать ОИИ – даже в отсутствие экономических стимулов. Хотя любознательность заслуженно считается одним из важнейших человеческих качеств, она чревата проблемами, когда способствует развитию технологий, которыми мы пока не научились управлять с должной мудростью. Чисто научная любознательность без мотива прибыли обернулась появлением ядерного оружия, искусственно созданных пандемий, и грустно сознавать, что знаменитая поговорка «Любопытство сгубило кошку» ныне вполне применима к человеческому виду.
В-третьих, мы смертны. Это объясняет практически единодушную поддержку разработки новых технологий, которые помогают людям жить дольше и оставаться более здоровыми; таков, к слову, побудительный мотив современных исследований в области ИИ. ОИИ сулит прорыв в сфере здравоохранения. Некоторые мыслители даже рассуждают о бессмертии через киборгизацию или загрузку цифровых копий.
Словом, мы ступили на скользкую дорожку к созданию ОИИ, и налицо сильные стимулы, побуждающие скользить дальше, пусть даже последствия обещают наше экономическое исчезновение. Мы больше не будем нуждаться ни в чем, потому что все работы будут более эффективно выполняться машинами. Успешное внедрение ОИИ станет величайшим достижением человечества, так почему же мы наблюдаем так мало серьезных дискуссий о возможных последствиях?
Ответ опять включает несколько причин.
Во-первых, как сказал когда-то Эптон Синклер: «Трудно заставить человека понять что-то, когда его зарплата зависит от того, что он этого не понимает»[77]. Например, представители технологических компаний или университетских исследовательских групп нередко публично заявляют, что их действия не несут никакого риска, даже если сами они думают иначе. Замечание Синклера помогает объяснить не только реакцию на риски, вызванные курением и изменением климата, но и тот факт, что кое-кто воспринимает технологии как новую религию, главная догма которой гласит: больше технологий всегда лучше, а сомневающиеся – невежественные еретики и паникеры-луддиты.
Во-вторых, людям издавна присущи фантазии, некорректная экстраполяция прошлого и недооценка новых технологий. Дарвиновская эволюция подарила нам возможность опасаться конкретных угроз, а не абстрактных фантомов будущих технологий, которые непросто визуализировать или хотя бы вообразить. Представьте, как вы в 1930-м предупреждаете людей о грядущей гонке ядерных вооружений: вы не в состоянии показать ни одного видеоролика с ядерным взрывом, и никто не знает, как вообще создать такое оружие. Даже ведущие ученые могут недооценивать неопределенность, изрекая прогнозы слишком оптимистичные – где эти термоядерные реакторы и летающие машины? – или слишком пессимистичные. Эрнест Резерфорд, возможно величайший физик-ядерщик своего времени, сказал в 1933 году – менее чем за сутки до того, как Лео Силард задумался о ядерной цепной реакции, – что ядерная энергия есть «полная чушь». Разумеется, никто тогда не мог предвидеть гонки ядерных вооружений.
В-третьих, психологи обнаружили, что мы склонны избегать мыслей об опасности, когда нам кажется, что мы все равно ничего не можем сделать. Но в данном случае имеется множество конструктивных действий, которые мы в силах совершить, если заставим себя задуматься над этой проблемой.
Я высказываюсь в пользу перехода от стратегии «Давайте спешно развивать технологии, которые нас погубят, – разве что-то может пойти не так?» к стратегии «Давайте воображать вдохновляющее будущее и двигаться к нему».
Чтобы добиться успеха, то есть хотя бы начать движение в нужную сторону, эта стратегия должна строиться на представлении заманчивого места назначения. Да, голливудская фантастика в целом тяготеет к антиутопии, но на самом деле ОИИ способен обеспечить человечеству поистине уникальный уровень процветания. Все, что мне нравится в нашей цивилизации, есть плод интеллекта, а потому, если мы сумеем подкрепить наш собственный интеллект созданием ОИИ, у нас появится возможность справиться с острейшими вызовами сегодняшнего и завтрашнего дня, включая болезни, изменения климата и бедность. Чем детальнее будет наш общий позитивный взгляд на будущее, тем сильнее окажется мотив трудиться вместе над реализацией мечты.
Что мы должны делать с точки зрения выбора цели? Двадцать три принципа, принятых в 2017 году на конференции в Асиломаре, предлагают множество рекомендаций, включая следующие краткосрочные цели:
(1) Прекращение гонки вооружений в производстве смертоносного автономного оружия.
(2) Экономическое процветание, обеспечиваемое ИИ, должно широко распространиться и быть доступным каждому человеку.
(3) Инвестиции в ИИ должны сопровождаться финансированием исследований по обеспечению полезного применения искусственного интеллекта. Следует стремиться к тому, чтобы системы ИИ были исключительно надежными, устойчивыми к взлому и сбоям, и делали то, что нам нужно[78].
Первые два условия подразумевают избавление от неоптимального равновесия Нэша[79]. Вышедшую из-под контроля гонку вооружений в производстве смертоносного автономного оружия, призванную минимизировать расходы на автоматизированное анонимное убийство, будет очень трудно остановить, если она наберет обороты. Вторая цель потребует изменения нынешней политики ряда западных стран, где целые слои населения становятся беднее в абсолютном выражении, что вызывает гнев, обиды и поляризацию общества. Если не будет достигнута третья цель, все замечательные технологии ИИ, которые мы создаем, способны причинить нам вред, случайно или преднамеренно.
Исследования безопасности ИИ должны проводиться с четким пониманием того, что до появления ОИИ мы должны выяснить, как заставить ИИ понять, принять и уважать наши цели. Чем более интеллектуальными и мощными становятся машины, тем важнее согласовывать их цели с нашими. Пока мы строим относительно глупые машины, вопрос заключается не в том, будут ли преобладать человеческие цели и ценности, а в том, сколько хлопот могут доставить нам машины прежде, чем мы сумеем согласовать цели. Однако если однажды все-таки появится машинный сверхразум, то здесь уже все будет наоборот: поскольку интеллект есть способность ставить цели и их достигать, сверхразумный ИИ, по определению, будет превосходить людей в достижении собственных целей, а потому возьмет над нами верх.