М. Ф.: Я правильно понимаю, что сейчас в FHI и в других исследовательских компаниях, таких как OpenAI, решается проблема технического контроля, то есть ищется ответ на вопрос, как построить машину, работающую в строгом соответствии с поставленной целью.
Н. Б.: Именно так. У нас над этим работает отдельная команда. Есть и команда, которая занимается проблемами управления, связанными с достижениями в области ИИ.
М. Ф.: Хватит ли у вас ресурсов для управления ИИ или нужна поддержка правительства?
Н. Б.: Мне бы хотелось, чтобы больше ресурсов выделялось на решение вопросов безопасности ИИ. Этим занимаемся не только мы, например, в компании DeepMind есть отдельная группа. Вообще количество талантов и денег в сфере ИИ растет, хотя в абсолютном выражении эта область все еще очень неразвита.
М. Ф.: Нужно ли к проблемам, которые порождает суперинтеллект, привлекать внимание общества?
Н. Б.: Пока в этом нет смысла, потому что не совсем ясно, какая именно помощь будет полезной в данный момент. Сейчас я не вижу необходимости в каких-либо правилах, касающихся машинного суперинтеллекта. Регулирование понадобится для приложений на базе ИИ, которые появятся в ближайшем будущем. Мне кажется, суперинтеллект не входит в компетенцию политиков, так как их в основном заботит то, что может произойти во время их пребывания в должности.
М. Ф.: Могут ли усугубить ситуацию выступления Илона Маска, который утверждает, что суперинтеллект опаснее, чем Северная Корея?
Н. Б.: Преждевременные выступления такого рода могут привести к тому, что голоса выступающих за осторожность и глобальное сотрудничество отойдут на второй план. И это действительно может ухудшить ситуацию. Мне кажется, обращать внимание правительства на проблемы суперинтеллекта нужно тогда, когда возникнет необходимость. Но до этого еще предстоит проделать огромную работу.
М. Ф.: Как развивалась ваша карьера в сфере ИИ?
Н. Б.: Тема ИИ интересовала меня, сколько я себя помню. В университете я изучал ИИ, а затем вычислительную нейробиологию и теоретическую физику. Во-первых, я считал, что технология ИИ в конечном итоге изменит мир, а во-вторых, я хотел понять, каким образом возникает мышление.
Первые работы на тему суперинтеллекта я опубликовал в середине 1990-х гг. А в 2006 г. появилась возможность открыть FHI в Оксфордском университете и исследовать влияние новых технологий на наше будущее. Особое внимание мы уделяем машинному интеллекту. В 2014 г. по результатам работы появилась книга «Искусственный интеллект: этапы, угрозы, стратегии». В настоящее время в институте две рабочие группы. Одна фокусируется на решении проблемы выравнивания, разрабатывая алгоритмы для масштабируемых методов управления. Вторая занимается вопросами управления, политики, этики и социальных последствий, которые несут в себе достижения в области машинного интеллекта.
М. Ф.: При этом в своей работе вы рассматриваете опасности, связанные не только с ИИ?
Н. Б.: Да. А также мы исследуем открывающиеся возможности и технологические преимущества.
М. Ф.: Какие еще опасности вы рассматриваете и почему концентрируетесь на машинном интеллекте?
Н. Б.: В FHI мы изучаем масштабные вопросы, касающиеся судьбы разумной жизни на Земле. Мы рассматриваем экзистенциальные угрозы и то, что может навсегда сформировать наше развитие в будущем. Технологии я считаю наиболее вероятным источником таких фундаментальных преобразований. Разумеется, далеко не со всеми технологиями связаны экзистенциальные опасности и возможности, как с ИИ. Мы изучаем опасности от биотехнологий. Эти исследования необходимо объединить в макростратегию.
Почему мы выделяем ИИ? С моей точки зрения, если ИИ успешно достигнет первоначальной цели, которая сводится не только к автоматизации конкретных задач, но и к копированию универсальной способности к обучению и планированию, это станет последним изобретением, которое сделают люди. Сильно изменятся все технологические и прочие области, в которых полезен человеческий интеллект.
М. Ф.: Входит ли в ваш список экзистенциальных опасностей изменение климата?
Н. Б.: Нет, потому что мы предпочитаем сосредоточиться на областях, в которых могут иметь значение наши усилия. А проблемами, вызванными изменением климата, сейчас занимается множество специалистов. Кроме того, мне трудно представить, что увеличение температуры на несколько градусов может привести к исчезновению человеческого рода. Поэтому влияние климата мы рассматриваем только в рамках общей картины проблем, с которыми может столкнуться человечество.
М. Ф.: Итак, с вашей точки зрения, опасности, связанные с сильным ИИ, выше связанных с изменением климата. Получается, что ресурсы и инвестиции распределяются неоптимальным образом.
Н. Б.: Я действительно думаю, что ресурсы распределяются не совсем правильно, причем не только между этими двумя областями. Мне в принципе кажется, что мы не очень мудро распределяем внимание.
Если оглянуться назад, мы увидим, что в любой момент времени существовала какая-то глобальная проблема, которой были озабочены все образованные люди, а потом все менялось. Сто лет назад все были озабочены проблемой вырождения, и все говорили об ухудшении человеческой породы. Во время холодной войны на первый план вышел ядерный армагеддон, а затем зашла речь о перенаселении. Сейчас все обеспокоены глобальным потеплением, хотя последние пару лет все больше начинают говорить об опасностях, которые несет ИИ.
М. Ф.: Это может быть связано с выступлениями таких людей, как Илон Маск?
Н. Б.: Пока я вижу в этом положительную сторону. Когда я писал книгу, оказалось, что тема ИИ мало кого интересует. Даже среди специалистов в этой сфере немногие думали о том, что может произойти, если появится ИИ. Серьезно говорить на эту тему было невозможно.
А вследствие того, что к этой теме было привлечено внимание, теперь можно проводить исследования и публиковать статьи по таким вопросам, как проблема выравнивания. Не думаю, что столько талантливых людей пришло бы в эту область, не начнись громкое обсуждение. Теперь же задача состоит в том, чтобы направить появившуюся озабоченность и интерес в конструктивное русло и продолжить работу.
М. Ф.: Верно ли я понимаю, что вас беспокоят опасности, связанные с появлением сильного ИИ? Обычный же ИИ, несмотря на свою значительность, не угрожает существованию людей.
Н. Б.: Именно так. Разумеется, нас интересуют и приложения на базе ИИ, которые могут появиться в ближайшем будущем. Мне кажется, проблема возникает, когда начинают путать краткосрочный и долгосрочный контексты.
М. Ф.: А о чем нужно беспокоиться в ближайшие пять лет?
Н. Б.: На мой взгляд, выгоды от вещей, которые появятся в ближайшее время, перевешивают недостатки. Достаточно посмотреть на экономику и на все те области, где могут пригодиться более умные алгоритмы. Даже простой алгоритм прогнозирования кривых спроса, работающий в фоновом режиме в большом логистическом центре, позволит сократить запасы товаров и снизить цены.
Нейронные сети могут распознавать опухоли на рентгеновских снимках и помогать в постановке диагнозов. Работая в фоновом режиме, они позволят оптимизировать обслуживание пациентов. Предприниматели найдут массу возможностей. А с научной точки зрения интересно хоть немного понять, как работает интеллект и каким образом осуществляется восприятие.
М. Ф.: Многих беспокоит такая вещь, как оружие, самостоятельно выбирающее цель. Поддерживаете ли вы запрет на оружие такого типа?
Н. Б.: Хотелось бы, чтобы мир смог избежать новой гонки вооружений с тратой огромных сумм на совершенствование роботов-убийц. Вообще говоря, я бы предпочел, чтобы машинный интеллект использовался исключительно в мирных целях. Но если смотреть более масштабно, сложно понять, что именно нужно запрещать.
Есть мнение, что следует запретить автономные дроны, самостоятельно выбирающие цель. Но в качестве альтернативы у нас есть девятнадцатилетний парень, которому поручено нажимать кнопку, когда на экране появляется надпись «Огонь». Я не понимаю, чем это отличается от полностью автономной системы. Куда важнее, чтобы был человек, который будет отвечать за случившееся, если что-то пойдет не так.
М. Ф.: Но можно представить ситуации, в которых автономная машина предпочтительнее. Например, в США отмечались случаи расизма со стороны полицейских. В правильно спроектированной роботизированной системе предвзятость можно исключить. Кроме того, робота-полицейского можно запрограммировать так, чтобы он начинал стрелять только после того, как в него попадет пуля.
Н. Б.: Мне бы хотелось, чтобы люди вообще перестали воевать. Но раз войны неизбежны, наверное, лучше, когда машины убивают другие машины. Если речь идет об ударах по конкретным целям, важна возможность наносить точные удары, позволяющие избежать сопутствующего ущерба. Вот почему я говорю, что, если принять во внимание специфику, общие расчеты сильно усложняются, и непонятно, как должно выглядеть соглашение в отношении автономного оружия.
Этические вопросы возникают и в других областях применения, таких как наблюдение, управление потоками данных, маркетинг и реклама. Все это в долгосрочной перспективе тоже может повлиять на человеческую цивилизацию.
М. Ф.: То есть нужны законы, регулирующие применение этих технологий?
Н. Б.: Без регулирования действительно не обойтись. Вы же не хотите, чтобы с дрона, оснащенного программой распознавания лиц, можно было с большой дистанции убить человека. Точно так же вы не хотите, чтобы дроны, летающие через аэропорт, задерживали самолеты. Я уверен, что по мере увеличения количества беспилотников потребуется военизированная структура для их контроля.
М. Ф.: С момента публикации вашей книги прошло около пяти лет. Ваши ожидания оправдались?