Р. К.: Я большой сторонник регулирования. Компания Affectiva входит в консорциум Partnership on AI и в рабочую группу FATE (Fair, Accountable, Transparent, Equitable). Это аббревиатура означает: справедливый, подконтрольный, прозрачный и беспристрастный ИИ.
Задача этих групп заключается в разработке руководящих принципов для ИИ, соответствующих тем, которые разрабатывает Управление по санитарному надзору за качеством пищевых продуктов и медикаментов. Кроме того, Affectiva публикует лучшие практики и рекомендации для отрасли. Как лидеры, мы обязаны быть сторонниками регулирования и предпринимать активные действия, а не просто ждать появления нужного закона.
Мы принимаем участие во Всемирном экономическом форуме, в рамках которого работает совет по робототехнике и ИИ. Меня поразило, насколько по-разному в разных странах воспринимается эта сфера. Например, в Китае никого не заботят этические вопросы, что отражается на регулировании ИИ.
М. Ф.: Чтобы закончить на позитивной ноте, скажите, вы оптимист? Вы верите, что в итоге эти технологии принесут пользу человечеству?
Р. К.: Да, я могу назвать себя оптимисткой. Я считаю, что технологии нейтральны. Важно то, как ими воспользуются. Мне бы хотелось, чтобы вся отрасль следовала по стопам моей команды.
Рэймонд Курцвейл
“Согласно моему сценарию, в кровеносную систему можно будет вводить медицинских нанороботов. <…> А нанороботы в числе прочего проникнут к нам в мозг и позволят напрямую подключаться к виртуальной и дополненной реальности".
Технический директор компании GOOGLE, Соучредитель Университета Сингулярности
Рэймонд Курцвейл – один из ведущих мировых изобретателей, мыслителей и футурологов, обладатель 21 почетной докторской степени и почетных званий от трех президентов США.
Специальность инженера получил в MIT под руководством Марвина Минского. Изобрел первый сканер с ПЗС-матрицей, работал над развитием первой системы оптического распознавания символов, синтезатора, преобразующего текст в речь, первого музыкального синтезатора, способного воссоздавать звуки оркестровых инструментов, и первого коммерческого приложения для распознавания речи с большим словарным запасом.
Получил премию «Грэмми» за выдающиеся достижения в области музыкальных технологий, Национальную медаль США в области технологий, введен в Национальный зал славы изобретателей. Написал пять книг, ставших бестселлерами, в том числе «Сингулярность уже близка» (2005 г.) и How to create a mind: the secret of human thought revealed («Как создать разум», 2012 г.). Первый роман Курцвейла Danielle, Chronicles of a Superheroine («Даниэль. Хроники супергероини») вышел в начале 2019 г., а к концу года ожидается выход книги The Singularity is Nearer («Сигнулярность еще ближе»).
Известен утверждениями об экспоненциальном прогрессе в технологиях, которые сформулировал как закон ускоряющейся отдачи.
Мартин Форд: Как возник ваш интерес к ИИ?
Рэймонд Курцвейл: Я начал заниматься ИИ в 1962 г., всего через шесть лет после того, как Марвин Минский и Джон Маккарти придумали этот термин на Дартмутском семинаре в Ганновере, штат Нью-Гэмпшир.
К тому моменту появились два враждующих лагеря: сторонники символьной системы и коннекционисты. Доминировали первые, а их лидером считался Марвин Минский. Коннекционистов считали выскочками. Одним из них был Фрэнк Розенблатт из Корнеллского университета – создатель первой популяризованной нейронной сети, названной персептроном. Я написал им, и получил приглашения в гости. Сначала я навестил Минского, с которым мы провели целый день. Так начались наши отношения, которые продлились 55 лет. Мы обсуждали ИИ, который в то время рассматривался как нечто непонятное и не представляющее особого интереса.
Затем я встретился с Розенблаттом. Его персептрон представлял собой устройство с камерой. Я принес с собой распечатки писем, и устройство прекрасно распознавало весь текст, который был набран шрифтом Courier 10. Остальные шрифты не распознавались, но Розенблатт сказал: «Не волнуйтесь, я могу взять выход персептрона, передать его на вход второму персептрону, а полученный выход – на вход третьему слою, и постепенно сеть обучится, обобщит данные и даст результат». Я спросил, пробовал ли он это делать, и узнал, что пока таких экспериментов не проводилось, но они есть в программе исследований.
В 1960-е гг. работа велась медленнее, чем сегодня. И, к сожалению, спустя девять лет Розенблатт погиб, так и не успев опробовать эту идею, которая оказалась на удивление пророческой. Все впечатляющие результаты, которые мы имеем сегодня, получены с помощью глубоких нейронных сетей. Так что Розенблатт очень правильно все понимал, хотя на тот момент было неясно, сработает ли такой подход.
В 1969 г. Минский вместе с Сеймуром Пейпертом написал книгу о персептронах. По сути, там доказывалось, что они не могут решать задачу XOR и проблему связности. Обложку книги украшали изображения двух лабиринтов: один – связный, а второй – нет. Доказано, что персептрон не может классифицировать фигуры по признаку связности. Книга привела к тому, что в течение следующих 25 лет на коннекционизм просто не выделяли средств. Впоследствии Минский сожалел об этом и незадолго до своей смерти говорил, что осознал потенциал глубоких нейронных сетей.
М. Ф.: Но ведь он работал над первыми коннекционистскими нейронными сетями еще в 1950-х гг.?
Р. К.: Да, но к 1960 г. он в них разочаровался. Более того, возможности этих сетей стали очевидными только десятилетия спустя, после того как опробовали трехслойные нейронные сети. При большем количестве слоев возникала проблема взрывающегося или исчезающего градиента, то есть ситуации, когда динамический диапазон коэффициентов уменьшался, потому что числа становились слишком большими или слишком маленькими.
Эту проблему решил Джеффри Хинтон с группой математиков. Они предложили после каждого слоя корректировать веса, чтобы они оставались в заданном диапазоне значений. Это дало возможность работать с нейронными сетями, состоящими из ста слоев. Но все равно осталась проблема, которую можно описать фразой: «Жизнь начинается с миллиарда примеров».
Это одна из причин, по которой я работаю в Google. Тут есть доступ к миллиарду примеров изображений собак, кошек и других вещей. Хотя остается и множество вещей, для которых ничего подобного не существует. Скажем, у нас есть многочисленные примеры естественного языка, но их значения не снабжены аннотациями. Да и как это можно сделать для языков, которых мы изначально не понимаем? Для решения некоторых задач можно обойтись без огромного набора маркированных данных. К таким задачам относится, например, игра го. Когда систему, созданную компанией DeepMind, пытались обучать на примере всех онлайн-ходов, нашлось порядка миллиона примеров. Система научилась играть на любительском уровне. Для дальнейшего обучения требовалось еще 999 млн примеров, а где их брать?
М. Ф.: Вы утверждаете, что современное глубокое обучение сильно зависит от наличия маркированных данных, то есть все сводится к обучению с учителем.
Р. К.: Именно так. Это ограничение можно обойти, если получится смоделировать мир, в котором вы работаете. В этом случае появится возможность создавать собственные обучающие данные. Так и поступили в DeepMind. Они просто стали играть все новые и новые партии. Ходы маркировались традиционными методами. В результате без предварительно представленных людьми данных нейронную сеть удалось обучить настолько, что алгоритм AlphaZero смог сто раз подряд победить алгоритм AlphaGo.
Вопрос в том, в каких ситуациях работает такой подход? Например, симулировать можно математические правила: аксиомы теории чисел не сложнее правил игры го. А процесс вождения намного сложнее. Но в компании Waymo применили комбинацию методов и создали достаточно хороший беспилотник, а затем проехали миллионы миль с водителем, готовым в любой момент взять управление на себя. В результате накопилось достаточно данных для создания точного симулятора. После этого порядка миллиарда миль было пройдено в симуляторе, чтобы сгенерировать обучающие данные для глубокой нейронной сети, предназначенной для улучшения алгоритмов.
Теперь очередь за моделированием биологического и медицинского миров. Подобные симуляторы позволили бы проводить клинические испытания за часы, а не за годы, и генерировать собственные обучающие данные.
Это не единственный подход к проблеме обучающих данных. Например, у людей работает технология переноса обучения (transfer learning), то есть они умеют использовать накопленный опыт для решения задач другого типа. Я придумал собственную модель на базе приблизительного представления о работе неокортекса. Первые идеи появились в 1962 г., и последующие 50 лет я всячески их обдумывал. Вместо одной большой нейронной сети можно обучить на шаблонах множество модулей. В книге «Как создать разум» я описываю неокортекс как 300 млн модулей, последовательно распознающих образ и допускающих определенную степень изменчивости. Они образуют иерархическую структуру. Для такого обучения требуется меньше данных. Машина, как человек, сумеет обобщать информацию и переносить ее из одной предметной области в другую. После выхода книги Ларри Пейдж пригласил меня в Google, чтобы я попробовал применить свои идеи к распознаванию естественного языка.
М. Ф.: На базе этих концепций уже созданы какие-то продукты?
Р. К.: Функция Smart Reply в сервисе Gmail, которая предлагает три базовых варианта ответа на каждое письмо, использует именно такую иерархическую систему. Недавно мы запустили сервис Talk to Books[16], позволяющий получать ответы из книг. Пользователь задает вопрос, а система за полсекунды читает 100 тысяч книг (примерно 600 млн предложений) и возвращает наиболее подходящий ответ. Все это базируется не на ключевых словах, а на семантическом понимании.