Н. Б.: Развитие происходит быстрее, чем я предсказывал.
М. Ф.: В книге вы писали, что компьютер победит чемпиона мира по игре го где-то через десять лет, примерно в 2024 г. Но это случилось через два года.
Н. Б.: Я писал, исходя из предположения, что развитие будет иметь стабильную скорость. Но прогресс пошел намного быстрее, отчасти благодаря особым усилиям, которые фирма DeepMind приложила к решению этой конкретной задачи. Были привлечены хорошие специалисты и выделены вычислительные мощности. В результате нам продемонстрировали впечатляющие возможности систем глубокого обучения.
М. Ф.: А какие препятствия стоят на пути к сильному ИИ?
Н. Б.: Сильный ИИ требует более совершенных методов обучения без учителя. Ведь только небольшая часть знаний и навыков взрослого человека формируется при помощи явных инструкций. В основном же мы просто наблюдаем за происходящим вокруг, используя для улучшения модели мира сенсорный канал. В детстве мы много пробуем и ошибаемся – и таким способом учимся.
Для высокоэффективных интеллектуальных систем нужны алгоритмы, умеющие использовать немаркированные данные. Большую часть своих знаний о мире люди склонны систематизировать в виде причинно-следственных связей, а в современных нейронных сетях этого практически нет. В основном достигается нахождение статистических закономерностей в сложных моделях, а не превращение этих моделей в объекты, влияющие друг на друга.
Кроме того, нужен прогресс в планировании и ряде других областей. Доступные методы не очень хорошо справляются с существующими задачами на пути к пониманию человеческого интеллекта.
М. Ф.: Одна из немногих компаний, специализирующихся на разработке сильного ИИ, – это DeepMind. Есть ли другие игроки, которые, на ваш взгляд, могут с ней конкурировать?
Н. Б.: Безусловно, компания DeepMind – один из лидеров, но в рамках проекта Google Brain тоже работает исследовательская группа мирового класса. Собственные ИИ-лаборатории есть и у таких крупных технологических компаний, как Facebook, Baidu и Microsoft.
Занимаются этим и в академических кругах. Университеты в Монреале и Торонто одни из лучших в мире в сфере глубокого обучения. Много специалистов работает в таких университетах, как Беркли, Оксфорд, Стэнфорд и Карнеги – Меллона. Западными странами дело не ограничивается. Китай также вкладывает значительные средства в наращивание внутреннего потенциала.
М. Ф.: Но они не специализируются конкретно на сильном ИИ.
Н. Б.: Четкую границу в данном случае провести сложно. Но если брать группы, занятые именно разработкой сильного ИИ, то кроме DeepMind можно упомянуть OpenAI.
М. Ф.: Тест Тьюринга – это единственный способ определить, получилось ли создать сильный ИИ?
Н. Б.: Полномасштабная версия теста вполне подходит для подтверждения завершенности ИИ-полной задачи. Если же хочется оценить скорость движения к цели и понять, в каком направлении работать дальше, тест Тьюринга не поможет.
М. Ф.: Потому что становится субъективным?
Н. Б.: Да. Конечно, тест можно применить корректно даже в таких вопросах, но это слишком сложно, и мы пока не знаем, как это реализовать. Когда мы пытаемся оценить локальный прогресс системы, на результаты теста Тьюринга начинает влиять множество стандартных ответов, а также другие уловки и приемы. Этот тест не сможет показать, продвинулись ли ваши разработки в сторону сильного ИИ. Для этого нужны другие критерии, которые будут учитывать движение в нужную сторону.
М. Ф.: У интеллектуальной системы может автоматически появиться сознание?
Н. Б.: Что вы подразумеваете под сознанием? Например, этим термином называют функциональную форму самоощущения, то есть возможность смоделировать себя в мире и оценить влияние окружающей среды и времени.
Еще под сознанием подразумевают результат накопления эмпирического опыта, который, как принято считать, имеет значение для морали. Например, аморально причинять страдания живым существам, причем страдание – это субъективное чувство. Неизвестно, возникнет ли такой феноменальный опыт автоматически как следствие повышения эффективности системы. Можно даже создать механические системы, лишенные сенсорных, чувственных явлений любого рода, то есть того, что философы называют термином «квалиа». Мы не знаем, какие вещи необходимы и достаточны для морально значимых форм сознания, поэтому нужно принять как аксиому, что машинный интеллект может получить сознание задолго до достижения им человеческого уровня.
Считается, что соответствующий опыт есть не только у людей. Поэтому существуют протоколы и руководства для медицинских опытов с мышами. Нужно помнить, что машина может достигнуть уровня сознания, обеспечивающего некий моральный статус, что ограничит наши действия по отношению к ней.
М. Ф.: То есть рискуют в данном случае обе стороны? Нас беспокоит вред, который может причинить ИИ, но при этом мы сами можем поработить сущность, обладающую сознанием, или заставить ее страдать. Мне кажется, узнать, обладает ли машина сознанием, невозможно. Я считаю, что у вас есть сознание, потому что вы одного со мной вида, а в наличии у себя сознания я уверен. Но у меня нет такой же связи с машиной.
Н. Б.: Да, это действительно крайне сложный вопрос. Ведь даже принадлежность к человеческому виду не говорит о наличии сознания. Человек может находиться в коме, на стадии зародыша, под наркозом. При этом многие уверены в наличии сознательного опыта у определенных животных. То есть мы проецируем идею сознания за пределы нашего собственного вида, но мне кажется, что на цифровой интеллект, если таковой появится, эти представления, как и моральные нормы, вряд ли распространятся.
Даже с животными мы обращаемся плохо. Особенно это касается производства мяса, а ведь животные могут выражать эмоции и кричать! Кто заставит людей осознать, что внутри микропроцессора, где происходят невидимые реакции, может быть разум, с которым нужно считаться? Особенно на фоне таких проблем, как алгоритмическая дискриминация или дроны-убийцы. Поэтому первым делом нужно сделать так, чтобы эта тема перестала относиться к абстракциям, о которых разговаривают только профессиональные философы.
М. Ф.: А как с вашей точки зрения ИИ может повлиять на рынок труда и экономику?
Н. Б.: В ближайшей перспективе сильных воздействий на рынок труда не предвидится, так как для масштабного развертывания автоматизированных систем требуется время. Но постепенно достижения в области машинного обучения начнут все сильнее влиять на эту сферу, ведь ИИ способен взять на себя практически все задачи. В некоторых отношениях конечная цель состоит в освобождении людей от необходимости работать. Ведь мы развиваем технологии и внедряем автоматизацию, чтобы получать определенный результат с меньшими усилиями.
М. Ф.: Но это же утопия. Как я понимаю, вы поддерживаете идею базового дохода, который гарантирует всем и каждому возможность пользоваться плодами прогресса?
Н. Б.: Да, со временем желательно прийти к чему-нибудь в этом роде. Если действительно получится создать ИИ, и мы решим проблему технического контроля, произойдет взрывной экономический рост. Этого хватит, чтобы обеспечить всем достойную жизнь. Развивая суперинтеллект, мы все рискуем, нравится нам это или нет. Поэтому, если дела пойдут хорошо, каждый должен получить некоторую выгоду.
Я думаю, что именно так должен использоваться машинный суперинтеллект. Если все получится, выигрыш будет настолько большим, что мы просто обязаны гарантировать всем фантастическое качество жизни: не только экономическую выгоду (в форме универсального базового дохода или по какой-то другой схеме), но совершенные технологии, лучшее здравоохранение и т. п.
М. Ф.: А если сильный ИИ первым создаст Китай? Имеют ли значение культурные ценности страны, в которой развивается технология?
Н. Б.: Я думаю, не очень важно, в какой культуре сильный ИИ появится первым. Куда важнее вопрос, насколько компетентны люди или группы, которые его развивают, и имеют ли они возможность быть осторожными. Это проблема любой гонки. Стремясь к результату, люди пренебрегают правилами безопасности. И побеждает тот, кто тратит на безопасность меньше всего усилий.
Хотелось бы, чтобы тот, кто первым разработает суперинтеллект, имел возможность в конце сделать паузу месяцев на шесть, а лучше на пару лет, чтобы перепроверить свои системы и установить любые дополнительные средства защиты, которые сможет придумать. И только после этого медленно и осторожно стал расширять возможности системы до сверхчеловеческого уровня. Поэтому важно максимально смягчать конкуренцию.
М. Ф.: Если интеллект сможет рекурсивно улучшать сам себя, первопроходец получает огромное преимущество. Соответственно, существует огромный стимул именно для гонки.
Н. Б.: Да, это так. Но я думаю, что тема гарантированного достижения глобального блага может снизить интенсивность гонки. Нужно, чтобы все участники осознавали, что проигравших не будет.
М. Ф.: Это потребует международного сотрудничества, в котором человечество пока не очень преуспело. Если сравнить с запретом на химическое оружие и с актом о нераспространении ядерного оружия, получится, что в случае с ИИ проверить соблюдение соглашения будет еще сложнее.
Н. Б.: В чем-то это окажется сложнее, в чем-то проще. Люди играют в эти игры из-за ограниченных ресурсов. У кого-то ресурсы есть, а у кого-то еще нет. ИИ может привести к изобилию во многих отношениях, что позволит облегчить установление договоренностей.
М. Ф.: Думаете, мы решим эти проблемы?
Н. Б.: Внутри у меня надежда и страх. Но хотелось бы подчеркнуть именно положительные стороны, как в краткосрочной, так и в долгосрочной перспективе. Из-за моей работы и книги меня всегда спрашивают о рисках и недостатках технологии, но я надеюсь, что она сможет стать благом для всего мира.