ов исследователей ИИ в дальнейшие годы и десятилетия. Обеспечение широты взглядов напрямую ведет к появлению более эффективных и непредвзятых систем искусственного интеллекта.
Суперинтеллект и «проблема контроля» как экзистенциальная угроза
Присущий ИИ риск, который затмевает все остальное, — возможность того, что машины, обладающие сверхчеловеческим интеллектом, однажды выйдут из-под нашего контроля и станут угрозой существованию человечества. Вопросы безопасности, использования в качестве оружия и предвзятости алгоритмов — это непосредственные или ближайшие риски. Очевидно, что их необходимо решать безотлагательно, пока не стало слишком поздно. Экзистенциальная угроза, связанная с суперинтеллектом, является намного более умозрительной и почти наверняка отнесенной в будущее на десятилетия, если не на столетие или больше. Тем не менее именно этот риск завладел воображением многих известных людей и удостоился пристального внимания СМИ.
Экзистенциальный риск, присущий ИИ, стал предметом серьезной публичной дискуссии в 2014 году. В мае того года группа ученых, в том числе космолог из Кембриджского университета Стивен Хокинг, эксперт в области ИИ Стюарт Рассел и физики Макс Тегмарк и Фрэнк Вильчек, написала открытое письмо, опубликованное в британской газете Independent, где утверждалось, что появление искусственного суперинтеллекта «станет величайшим событием в истории человека» и что компьютер, обладающий сверхчеловеческими интеллектуальными возможностями, может «переиграть финансовые рынки, превзойти исследователей, перехитрить наших руководителей и изобрести оружие, которое мы даже не понимаем». Письмо предупреждало, что если мы не примем эту угрозу всерьез, то совершим «худшую ошибку в истории» человечества[320].
В том же году философ из Оксфордского университета Ник Бостром опубликовал книгу «Искусственный интеллект: Этапы. Угрозы. Стратегии»[321], быстро ставшую, как это ни удивительно, бестселлером. Бостром открывает повествование мыслью о том, что люди главенствуют на нашей планете исключительно в силу интеллектуального превосходства. Многие животные быстрее и сильнее человека, и на вершину его привел именно мозг. Если появится другая сущность, радикально превосходящая нас по интеллектуальным способностям, ситуация может измениться. По словам Бострома, «как судьба горилл сейчас зависит в большей степени от людей, чем от самих горилл, так и судьба нашего вида будет зависеть от действий машинного суперинтеллекта»[322].
Книга Бострома произвела огромное впечатление, особенно на элиту Кремниевой долины. Не прошло и месяца после ее выхода в свет, как Илон Маск уже заявил, что, «работая над искусственным интеллектом, мы вызываем демона» и что ИИ «может быть опаснее ядерного оружия»[323]. Год спустя Маск стал сооснователем OpenAI, миссия которой заключается в создании «дружественного» искусственного интеллекта. Те, кто принял аргументы Бострома близко к сердцу, стали воспринимать идею об экзистенциальной угрозе ИИ практически как бесспорный факт и как более серьезную опасность, чем изменение климата или глобальная пандемия. Как сказал нейробиолог и философ Сэм Харрис во время выступления на конференции в TED, набравшего более 5 млн просмотров, «сейчас очень трудно понять, как сделать так, чтобы [польза, которую мы получим от искусственного интеллекта] не уничтожила нас или не подтолкнула к самоуничтожению». По его мнению, нам необходимо «нечто вроде Манхэттенского проекта», нацеленного на поиск путей устранения такой опасности[324].
Конечно, беспокоиться будет не о чем, если нам не удастся создать в полной мере мыслящую машину с когнитивными способностями, по крайней мере эквивалентными нашим. Как говорилось в главе 5, на пути к созданию универсального искусственного интеллекта нас ждет неизвестное количество серьезных препятствий и на их преодоление потребуются десятилетия. Как вы помните, ведущие исследователи ИИ, которых я опрашивал в ходе работы над книгой «Архитекторы интеллекта», оценили среднее время ожидания до появления универсального ИИ примерно в 80 лет, то есть отнесли этот момент на конец столетия. Однако, как только ИИ человеческого уровня станет реальностью, за ним почти наверняка быстро последует суперинтеллект. Более того, любой машинный интеллект, способный учиться и мыслить на уровне человека, уже будет превосходить нас просто потому, что ему доступны все уже существующие преимущества компьютеров перед нами, включая способность проводить вычисления и обрабатывать информацию с непостижимой скоростью и напрямую взаимодействовать с другими машинами через сети.
Как предполагают большинство экспертов в области ИИ, вскоре после достижения такого уровня машинный интеллект решит направить свою интеллектуальную энергию на совершенствование собственной конструкции. Это приведет к непрерывному, рекурсивному улучшению системы. Результатом неизбежно станет «интеллектуальный взрыв» — Рэй Курцвейл и другие технооптимисты считают это событие катализатором появления сингулярности и зарей новой эпохи. Предположение, что прогресс в области ИИ однажды вызовет взрывное развитие машинного интеллекта, было высказано задолго до того, как вступил в действие закон Мура и стало появляться компьютерное оборудование, способное сделать подобное событие реальностью. В 1964 году математик Ирвинг Гуд написал научную статью «Размышления о первой сверхразумной машине», где сформулировал эту идею следующим образом:
Давайте понимать под сверхразумной такую машину, которая намного превосходит самого умного человека во всех видах интеллектуальной деятельности. Поскольку конструирование машин — один из видов интеллектуальной деятельности, сверхразумная машина сможет создавать еще более продвинутые машины. В результате этого произойдет «интеллектуальный взрыв» и интеллект человека останется далеко позади. Таким образом, первая сверхразумная машина — это последнее изобретение, которое сделает человек при условии, что машина будет достаточно послушной и сообщит нам, как держать ее под контролем[325].
Перспектива того, что сверхразумная машина станет последним нашим изобретением, отражает оптимизм сторонников идеи сингулярности. Оговорка о том, что машина должна оставаться достаточно послушной, чтобы ее можно было контролировать, отражает тревогу и намекает на возможность появления экзистенциальной угрозы. В сообществе исследователей ИИ эта темная сторона суперинтеллекта называется проблемой контроля или проблемой выравнивания ценностей.
В основе проблемы контроля лежит не страх перед явно враждебными машинами вроде тех, что показаны в «Терминаторе». Каждая ИИ-система создается для какой-то функции, иными словами, для конкретной описанной математически цели, которой система пытается добиться. Опасения вызывает то, что сверхразумная система, получив цель, может упорно преследовать ее с помощью средств, имеющих нежелательные или непредвиденные последствия и способных стать пагубными или даже фатальными для нашей цивилизации. В качестве иллюстрации часто используют мысленный эксперимент с «максимизатором скрепок». Представьте суперинтеллект, созданный с целью оптимизации производства скрепок. Преследуя эту цель, он может создавать новые технологии, которые позволят превратить практически все ресурсы на Земле в скрепки. Поскольку такая система будет превосходить нас по интеллектуальным способностям, она, скорее всего, сможет эффективно противодействовать попыткам выключить ее или изменить порядок действий, поскольку любое вмешательство мешает реализации целевой функции.
Это, конечно, всего лишь карикатура. Реальные сценарии, которые могут разыграться в будущем, скорее всего, будут гораздо менее очевидными, и их потенциальные последствия предвидеть несопоставимо труднее, если вообще возможно. Уже сейчас можно привести пример, безусловно, пагубного воздействия непредвиденных последствий на общественный организм. Алгоритмы машинного обучения, используемые такими компаниями, как YouTube и Facebook, обычно нацелены на максимизацию вовлечения пользователя во взаимодействие с платформой, что увеличивает прибыль от онлайновой рекламы. Однако алгоритмы, преследующие эту цель, быстро обнаружили: самый простой способ обеспечить вовлеченность людей — подсовывать им все более поляризованный в политическом отношении контент или напрямую воздействовать на эмоции, вызывая, скажем, возмущение или страх. Это, в частности, привело к возникновению пресловутой «кроличьей норы» на YouTube: после видео, излагающего умеренную позицию, следуют рекомендации все более радикального контента, что ведет к стабильной эмоционально обусловленной привязанности к этой платформе[326]. Это, наверное, хорошо для прибылей, но, безусловно, плохо для нашей социальной или политической обстановки.
Поиск решения проблемы контроля стал темой научных исследований в университетах и особенно в специализированных организациях с частным финансированием, таких как OpenAI, Институт будущего человечества при Оксфордском университете во главе с Ником Бостромом и Институт исследования машинного интеллекта в Беркли, Калифорния. В своей книге «Совместимость: Как контролировать искусственный интеллект»[327], впервые изданной в 2019 году, Стюарт Рассел утверждает, что лучшее решение проблемы — вообще не встраивать в продвинутые системы ИИ целевую функцию в явном виде. Задачей системы, заложенной в ее конструкцию, должно быть «максимальное удовлетворение предпочтений человека»[328]