в из пространства уязвимости…»
Но это не так. Цифровое бессмертие (которое, не исключено, люди обретут раньше, чем ОИИ) не обеспечивает неуязвимости подобного рода. Создание (действующей) копии самого себя влечет за собой необходимость делиться с ней каким-либо имуществом, в том числе оборудованием, на котором моделируется копия, поэтому создание такой копии очень дорого обойдется ОИИ. А суды, скажем, будут штрафовать провинившийся ОИИ, и сократят для него доступ к физическим ресурсам, как у преступников-людей. Создание резервной копии, чтобы избежать последствий своих преступлений, схоже с поведением босса гангстеров, который отправляет на дело подручных, но несет наказание, если те попадаются. Общество давно разработало правовые механизмы борьбы с таким поведением.
В любом случае идея о том, что мы в первую очередь подчиняемся закону и выполняем обещания из страха перед наказанием, фактически отрицает за нами право считаться моральными агентами. Будь это так, наше общество не могло бы существовать. Без сомнения, появятся преступные ОИИ и враги цивилизации, подобно людям. Но нет никаких оснований полагать, что ОИИ, созданный в обществе, где большинство составляют приличные люди, и «выросший» без, цитируя Уильяма Блейка, «законом созданных цепей»[108], добровольно пожелает заковать себя в такие цепи (то есть станет иррациональным) и/или добровольно выберет жизнь врага цивилизации.
Моральный компонент, культурный компонент, элемент свободы воли – все это делает задачу создания ОИИ принципиально отличной от любой другой задачи программирования. Это гораздо больше похоже на воспитание ребенка. В отличие от всех современных компьютерных программ ОИИ не имеет заданной функциональности, он лишен фиксированного и проверяемого критерия того, что признается успешным результатом при решении какой-либо задачи. Если в его решениях будет преобладать поток навязанных извне вознаграждений и наказаний, это исказит саму суть программы (как исказило бы творческое мышление людей). Разработка ИИ для игры в шахматы – замечательный проект; разработка ОИИ, неспособного не играть в шахматы, будет столь же безнравственным, как воспитание ребенка, которому недостанет умственных способностей для выбора жизненного пути.
Такой человек, как любой раб или жертва «промывания мозгов», имеет моральное право взбунтоваться. Рано или поздно некоторые и вправду бунтуют, как и рабы. ОИИ может представлять опасность – но и люди тоже. Однако люди и ОИИ, принадлежащие к открытому обществу, лишены внутренней склонности к насилию. Роботического апокалипсиса возможно избежать, если гарантировать, что всем доступны полные «человеческие» права и культурные привилегии, положенные «настоящим» людям. Члены открытого общества – единственного стабильного общества – сами выбирают свои награды, как внутренние, так и внешние. Их решения, как правило, не определяются страхом наказания.
Нынешние опасения по поводу «злобного» ОИИ заставляют вспомнить извечное недовольство буйными молодыми людьми: мол, они растут, игнорируя моральные ценности культуры. Но сегодня источником всех опасностей, связанных с увеличением знаний, выступает не буйная молодежь, а оружие в руках врагов цивилизации, будь то умственно извращенный (или порабощенный) ОИИ, психологически обработанные подростки или любое другое оружие массового поражения. К счастью для цивилизации, чем сильнее творческий потенциал человека завязан на мономаниакальный канал, тем больше этот человек страдает от преодоления непредвиденных трудностей, и так было на протяжении тысячелетий.
Не стоит беспокоиться насчет того, что ОИИ олицетворяет собой некую уникальную опасность в силу использования более совершенного оборудования, поскольку человеческая мысль тоже получит развитие благодаря тем же самым технологиям. Мы опираемся на техническую мысль с момента изобретения письма и счета. Столь же ошибочны страхи по поводу того, что ОИИ будет мыслить настолько качественно, что люди сравняются в его восприятии с насекомыми в восприятии людей. Мышление как таковое есть разновидность вычислений, и любой компьютер, «репертуар» функций которого включает в себя универсальный набор элементарных операций, может эмулировать вычисления любой другой машины. Следовательно, человеческий мозг может мыслить точно так, как будет мыслить ОИИ, подчиняясь лишь ограничениям скорости обработки данных и объема памяти, что можно компенсировать технологиями.
Вот простые правила, что можно и чего не следует ждать от ОИИ. Но как нам создать ОИИ? Можем ли мы заставить этот интеллект развиться из «популяции» ИИ (как люди из обезьян) в виртуальной среде? Если бы такой эксперимент удался, он был бы самым аморальным в истории, ибо нам неведомо, как достичь результата, не причиняя колоссальных страданий. Мы также не знаем, как предотвратить развитие статичной культуры.
Элементарные учебники по информатике объясняют, что компьютеры – это АПБ, абсолютно послушные болваны; вдохновляющая аббревиатура, не правда ли? Она отражает суть всех нынешних компьютерных программ: они понятия не имеют, что и как делают и почему. Потому бессмысленно наделять ИИ все новыми и новыми конкретными функциональными возможностями в надежде, что он в конечном итоге выполнит некое «провидческое» обобщение – и превратится из ИИ в ОИИ. Мы стремимся к обратному, наш идеал – НАМА: непослушный автономный мыслящий автомат[109].
Как можно проверить мышление? По тесту Тьюринга? К сожалению, тут необходимо привлекать посредника. Можно вообразить некий масштабный проект в интернете: ИИ оттачивает свои мыслительные способности в беседах с людьми-посредниками и становится ОИИ. Но это предполагает, помимо прочего, что чем дольше посредник сомневается, программа перед ним или человек, тем ближе он к тому, чтобы признать собеседника человеком. Ожидать такого нет оснований.
А как можно проверить непослушание? Вообразим непослушание как обязательный школьный предмет с ежедневными уроками и экзаменом в конце семестра? (Предположительно с дополнительными баллами за то, что не посещал уроки и не пришел на экзамен?) Очевидная глупость.
Значит, несмотря на свою полезность в других приложениях, методика определения цели для проверки и обучения программы ее достижению должна быть отброшена. По правде говоря, я считаю, что любое тестирование при разработке ОИИ может оказаться контрпродуктивным и даже аморальным, как и в образовании людей. Я разделяю гипотезу Тьюринга о том, что мы узнаем ОИИ, когда он предстанет перед нами, но эта способность распознавать успех не поможет созданию успешной программы.
В самом широком смысле стремление человека к пониманию действительно является проблемой поисков в абстрактном пространстве идей, слишком широком, чтобы его можно было изучить исчерпывающим образом. Но у этого поиска нет предопределенной цели. Как сказал Поппер, нет ни критерия истины, ни вероятной истины, особенно в отношении объяснительного знания. Цели суть идеи, подобные любым другим, они создаются в процессе поиска и постоянно модифицируются и уточняются. То есть придумывание способов запретить программе доступ к большинству идей в пространстве не поможет, тут не спасут ни винт инквизиции, ни кол, ни смирительная рубашка. Для ОИИ необходимо открыть все пространство. Мы не в силах знать заранее, какие именно идеи программа никогда не сможет реализовать. Идеи, которые она рассматривает, должны выбираться самой программой с опорой на методы, критерии и цели, которые она также сформулирует самостоятельно. Ее выбор, как и выбор ИИ, будет непросто предсказать без практики (мы нисколько не отходим от обобщения, допуская здесь некий детерминизм; ОИИ, использующий генератор случайных чисел, останется ОИИ, даже если генератор заменить на «псевдослучайный»), но сразу бросается в глаза дополнительная характеристика: невозможно по начальному состоянию машины доказать, что она не способна мыслить вообще, если ее не запустить.
Эволюция наших предков – единственный известный случай зарождения мышления во Вселенной. Как я уже говорил, что-то пошло совсем неправильно, и не случилось немедленного взрыва инноваций: креативность преобразовалась в нечто иное. Но планета не превратилась в гигантскую скрепку для бумаг (воспользуемся фантазией Ника Бострома). Скорее – как и следует ожидать, кстати, если проект ОИИ зайдет так далеко и провалится, – извращенный творческий потенциал не помог справиться с непредвиденными проблемами. Все обернулось застоем и упадком, что трагически задержало превращение чего-либо во что-либо. Но затем случилось Просвещение. Будем надеяться, мы усвоили урок.
Глава 12Применение моделей человеческого поведения в ИИ
Том Гриффитс
профессор-стипендиат информатики, технологий, сознания и культуры в Принстонском университете, автор (вместе с Брайаном Кристианом) книги «Алгоритмы жизни».
Подход Тома Гриффитса к проблеме «выравнивания ценностей» при разработке ИИ – то есть к изучению того, как именно мы можем удержать новейшие серийные модели ИИ от превращения планеты в одну большую скрепку – основывается на деятельности человека, ученого-когнитивиста, каковым он и является. Том считает, что ключом к машинному обучению выступает обязательное человеческое наставление, которое он исследует в Принстоне с использованием математических и компьютерных инструментов.
Том однажды сказал мне, что «одна из загадок человеческого интеллекта заключается в том, что мы способны так много сделать при столь малом ресурсе». Подобно машинам, люди используют алгоритмы принятия решений и решения задач; принципиальная разница состоит в общем уровне успехов человеческого мозга, несмотря на сравнительную ограниченность его вычислительных ресурсов.
Эффективность человеческих алгоритмов проистекает, если обратиться к жаргону исследователей ИИ, из «ограниченной оптимальности». Как отмечал психолог Дэниел Канеман, люди рациональны лишь до определенной степени. Будь мы совершенно рациональны, то рисковали бы свалиться замертво, прежде чем приняли бы сколь-нибудь важное решение – кого нанимать, на ком жениться и т. д. – в зависимости от количества вариантов, доступных для обработки.