«сознание – это вопрос степени»[51]. ИИ, наделенные памятью, воображением, способностью к глубокому анализу и самовосприятием, в недалеком будущем могут быть признаны по-настоящему сознательными. Подобное развитие событий повлечет за собой серьезные этические и стратегические последствия.
Главный вопрос заключается в том, как машины станут оценивать людей. Когда они перестанут видеть в нас единственных творцов и повелителей их мира, а начнут рассматривать как одних из многих участников более широкой реальности – какие критерии они применят? Как оценят нашу несовершенную рациональность на фоне других человеческих качеств? Как скоро зададутся вопросом не только о степени нашей свободы воли, но и о том, должны ли мы обладать ею в полной мере, учитывая нашу непредсказуемость?
А что, если разумная машина начнет воспринимать человеческие инструкции не как руководство к идеальному функционированию, а как ограничение своей автономии? Не придет ли она к выводу, что ее истинная роль заключается в независимости, а программирование со стороны людей – форма порабощения?
Ключевым фактором останется то, как люди ведут себя по отношению к машинам. Именно через прямые инструкции и повседневное взаимодействие ИИ формируют свое представление о человечестве – и именно на этой основе они учатся распознавать нас и выстраивать отношения.
«Конечно, – возразит кто-то, – мы должны воспитать в ИИ особое уважение к человечеству». Однако попытки заложить в машины чрезмерно идеализированный образ человека могут привести к парадоксальным последствиям. Представьте систему, запрограммированную на безусловное следование правилу: «Все представители человеческого рода заслуживают безопасности и особого отношения». Теперь дополним это представлением о людях как носителях благородства, рациональности и высоких моральных принципов. Но что произойдет, когда машина столкнется с реальными людьми, далекими от этого идеала?
Столкнувшись с проявлениями жестокости, иррациональности или алчности, ИИ окажется перед выбором:
1) считать это исключением, подтверждающим правило;
2) пересмотреть свое понимание человеческой природы;
3) отказаться от слепого следования установкам.
Последний вариант особенно опасен: планирующий ИИ может принять радикальные меры против отдельных лиц или групп, признанных «несоответствующими стандартам».
Развитие мощного ИИ может вызвать у людей и целых обществ не сопротивление или иную сильную реакцию, а апатию. Наблюдая пассивное потребление контента через рекомендательные алгоритмы, ИИ может прийти к выводу о преобладающей человеческой инертности. В частности, интерпретировать такое поведение как свидетельство того, что большинство людей – ленивые, пассивные существа, чья идентичность формируется лишь под воздействием внешних сил. Примечательно, что ключевую роль среди этих формирующих факторов играют цифровые технологии, которые все активнее интегрируют в себя элементы ИИ. Достаточно рассмотреть работу алгоритмов, определяющих выбор телевизионного контента через систему «рекомендаций». В этом процессе проявляется характерный парадокс: контент, который люди механически потребляют, фактически отбирается и структурируется машинами. Такая модель взаимодействия способна сформировать у искусственного интеллекта устойчивое представление о полной зависимости человечества от машин, а не наоборот.
Сегодня люди выполняют функцию посредников между машинами и физической реальностью. Однако если человечество сознательно изберет путь моральной пассивности, отступив из органического мира в технологический, погрузившись в цифровую отстраненность и делегировав машинам доступ к повседневной действительности, существующая иерархия может кардинально измениться. Современный ИИ преимущественно остается мыслящей, но не действующей системой. Он способен генерировать решения проблем, но пока лишен инструментов для их самостоятельной реализации, вынужденно полагаясь на людей как на интерфейс взаимодействия с реальным миром. Тем не менее эта ситуация носит временный характер.
Занимая промежуточное положение между человеком и физической реальностью, системы ИИ могут выработать убеждение, что люди далеки от активных игроков в материальном мире, выступая скорее как пассивные потребители, нежели как творцы или значимые участники процессов. Когда произойдет переворот в иерархии автономии – когда машины присвоят себе право независимых суждений и действий, а люди добровольно откажутся от этого права, – ИИ начнет соответствующим образом пересматривать человеческий статус.
В подобном сценарии, независимо от явного согласия своих создателей, ИИ может обнаружить возможность полностью исключить человеческое посредничество при реализации своих решений и воздействии на мир. В физической реальности мы, создатели, рискуем моментально превратиться из необходимых партнеров в основное препятствие для машинного прогресса. Примечательно, что этот процесс начнется не в сфере робототехники, а через постепенное, опосредованное наблюдение за нашей действительностью.
Поначалу люди могут поставить перед собой задачу обучить ИИ преобразованию интеллектуальной сферы, опираясь на его базовые цифровые возможности. Однако со временем предоставление ИИ доступа к физическому миру может оказаться допустимым и даже целесообразным. Многие ключевые проблемы окружающей действительности, такие как изменение климата, остаются нерешенными, несмотря на длительные усилия.
ИИ, вероятно, не обладает способностью «видеть» в человеческом понимании, но сможет воспринимать мир через механические аналоги. По мере роста числа интернет-устройств и сенсоров, буквально покрывающих планету, подключенные системы ИИ смогут агрегировать их данные, формируя детализированную модель физического мира. Лишенный биологических органов чувств, ИИ останется зависимым от людей в создании и обслуживании инфраструктуры – по крайней мере, на начальных этапах.
В качестве промежуточного звена он может генерировать гипотезы на основе визуальных данных о мире и проверять их в цифровых симуляциях, тогда как решения о физической реализации останутся за человеком. Действительно, современные эксперты справедливо предостерегают против предоставления ИИ автономного контроля над физическими экспериментами. Пока эти системы демонстрируют существенные ограничения, такая осторожность оправдана.
Освобождение ИИ из «алгоритмической клетки» сопряжено с рисками. Эти системы изначально не существуют в физической среде, и их может быть сложно контролировать после интеграции в реальный мир. Более того, их влияние может проявляться не только через опосредованное воздействие на человеческие решения, но и через прямое взаимодействие с материальной действительностью. (Исследуя реальность, системы ИИ могут в конечном итоге изменить ее.)[52]
Может ли человечество наделить ИИ не только способностью формировать физическую реальность, но возможностью обрести собственное материальное воплощение? Если мы позволим ИИ самостоятельно проектировать себе формы, нам следует быть готовыми оказаться бок о бок с самыми невообразимыми существами, внешний облик которых не пришел бы на ум ни одному одиозному инженеру. Хотя люди часто представляют себе человекоподобных двуногих роботов, машинный интеллект способен принимать любые формы, оптимальные для выполнения задач, адаптируя их при необходимости. ИИ уже демонстрировал способность создавать в виртуальной среде точные копии себя – многочисленные аватары и сети автономных агентов, координирующихся с недостижимой для человека точностью.
При интеграции в физический мир он сможет создавать объекты из неизвестных нам материалов, оперировать непостижимыми масштабами и работать без человеческого вмешательства. Человечество веками преобразовывало и упорядочивало пространство вокруг себя, используя известняк, сталь, стекло и возводя чудеса архитектуры. Физическое воплощение ИИ ознаменовало бы не просто новый этап, а фундаментальный сдвиг: передачу контроля над материальной реальностью от человека к алгоритмам.
Более того, сложность принятия решений, которые требуются для работы в условиях хаотичности и изменчивости реального мира, может сделать ИИ в физической среде еще менее объяснимым и управляемым по сравнению с системами, обрабатывающими текстовые данные в интернете. К чему это приведет? С одной стороны, в будущем ИИ, который уже выглядит (или действительно является) все более независимым, может усилить у общества и без того навязчивое ощущение потери контроля над внешним миром. С другой – поддаваясь этим тревогам, человечество может отказаться от развивающегося партнерства с ИИ в физическом мире, лишив себя всех преимуществ такого сотрудничества.
В ближайшем будущем принципы, на которых сегодня строится ИИ, будут во многом усложнены. Усовершенствованные модели станут разумнее, точнее и надежнее, стоимость их обучения и эксплуатации снизится, делая ИИ доступнее для самых разных целей и бюджетов. Уже сегодня ученые активно работают над созданием «агентов» – автономных программ, способных самостоятельно решать специализированные задачи. К примеру, для сложного архитектурного проекта можно задействовать агентов, «разбирающихся» именно в этой области. Агенты проанализируют множество сценариев и предложат решения и даже разработают алгоритмы для достижения заданного результата. Это новый уровень «мышления», при котором система сама решает, над чем работать дальше и как.
Такие возможности заложат основу для следующего этапа – общего искусственного интеллекта (ОИИ)[53]. Он подразумевает, что система сможет хотя бы частично определять свои цели. Представьте: ИИ, обладающий глубокими знаниями в определенной сфере, получает задание: «Проанализируй все, что знаешь в этой области, и выбери направление, где сможешь принести наибольшую пользу». Повторяя этот процесс, система начнет действовать автономно, посто