М. Ф.: В компании DeepMind основное внимание уделяется разработкам сильного ИИ. Означает ли это, что остальные исследования ИИ в Google ориентированы на более узкие и практические приложения?
Дж. Д.: Да, у DeepMind есть структурированный план и вера в себя, но, конечно, о сильном ИИ думают и остальные группы в Google. Наш путь кажется мне более органичным, ведь мы работаем над действительно гибкими ИИ-системами для решения новых задач.
М. Ф.: Как возник ваш интерес к ИИ? И как складывалась ваша карьера?
Дж. Д.: Мне было 9 лет, когда мой отец собрал первый компьютер. К старшим классам школы я уже научился писать программы, а потом получил степень бакалавра в области computer science и экономики в Университете Миннесоты. Темой моей дипломной работы стало параллельное обучение нейронных сетей. Это был 1990 г., когда этой темой интересовались все. Мне очень нравился предоставляемый этими сетями уровень абстракции. Я получал настоящее удовольствие от работы.
Думаю, это чувство испытывали тогда многие, но у нас не было нужных вычислительных мощностей. Мне казалось, что ускорь 64-битные процессорные машины раз в 60, и мы сможем сделать великие вещи. Практика показала, что требовалась в миллион раз большая скорость. Впрочем, теперь она у нас есть.
Затем в течение года я разрабатывал программное обеспечение для статистического моделирования и прогнозирования пандемии ВИЧ/СПИДа во Всемирной организации здравоохранения. После этого в Вашингтоне получил докторскую степень в области computer science. Там я в основном занимался методами оптимизации программ, написанных на объектно-ориентированных языках, в исследовательской лаборатории компании DEC в Пало-Альто.
В конце концов я присоединился к стартапу Google. Тогда в нем работало всего 25 человек. Начал я с разработки нашей первой рекламной системы. Затем был многолетний труд над поисковыми системами и такими функциями, как сканирование, обработка запросов, индексация, ранжирование и т. п., и позднее – инфраструктурное программное обеспечение в проектах MapReduce, Bigtable и Spanner.
В 2011 г. я стал работать над системами, ориентированными на машинное обучение, потому что меня заинтересовало, как можно использовать огромные объемы вычислений, которые применялись для тренировки очень больших и мощных нейронных сетей.
М. Ф.: Расскажите историю проекта Google Brain. Какую роль он играет в Google?
Дж. Д.: Однажды мы разговорились на кухне с Эндрю Ыном, который в то время был консультантом компании Google X, и я узнал, что его ученики в Стэнфорде уже давно интересуются возможностями нейронных сетей и даже начали решать с их помощью различные проблемы. Меня это заинтересовало, так как с нейронными сетями я работал 20 лет назад, когда писал дипломную работу. В результате у нас родился перспективный план: воспользоваться как можно большим количеством вычислений для обучения нейронных сетей.
Мы решили две проблемы. Во-первых, обучение без учителя на примерах изображений. Мы взяли 10 млн случайных кадров из различных видеороликов YouTube и попытались обучить очень большую сеть. Может быть, вы видели знаменитую визуализацию кошки?
М. Ф.: Да, она наделала много шума.
Дж. Д.: Мы поняли, что при обучении масштабируемых моделей на больших объемах данных происходит что-то интересное.
М. Ф.: Как я понимаю, самое интересное было то, что нейросеть сама извлекла концепцию кота из неструктурированных и немаркированных данных?
Дж. Д.: Да. Мы предоставили сети необработанные изображения и использовали алгоритм обучения без учителя, который позволил восстановить их из сжатой картинки, обнаруживая шаблоны, срабатывающие, когда в центре кадра оказывалась кошка. На YouTube очень много кошек. Во-вторых, вместе с командой по распознаванию речи мы попробовали применить глубокое обучение и нейронные сети для создания акустической модели перехода от необработанных звуковых сигналов к частям слова, например, «buh», «fuh» или «ss». Нейронные сети превзошли своих предшественников по точности распознавания речи.
Затем с другими командами Google мы занялись восприятием, параллельно применяя наши подходы к новым задачам. Наши системы представляли собой большие вычисления на нескольких компьютерах, которые не требовали привлечения программиста. Достаточно было указать: «Я хочу обучить вот эту большую модель, пожалуйста, используйте сто компьютеров». Это было первое поколение программного обеспечения для подобных задач.
Затем появилось второе поколение, то есть библиотека TensorFlow, которую мы решили сделать системой с открытым исходным кодом. Проектируя ее, мы преследовали три цели. Во-первых, гибкость, позволяющую быстро проверять различные идеи в области машинного обучения. Во-вторых, возможность масштабирования. В-третьих, мы хотели перейти от исследований к системе обслуживания производства. С 2015 г. ее применяют многие компании, научные учреждения и обычные люди.
М. Ф.: Собираетесь ли вы добавить TensorFlow на ваш облачный сервер, чтобы дать своим клиентам доступ к машинному обучению?
Дж. Д.: Да, собираемся, но мы хотим сперва сделать облако лучшим местом для запуска и использования библиотеки где угодно: на ноутбуке, стационарном компьютере, Raspberry Pi и Android.
М. Ф.: Облачная служба Google Cloud будет предоставлять тензорные процессоры и специализированное оборудование для оптимизации?
Дж. Д.: Да, одновременно с разработкой TensorFlow мы создавали процессоры, которым доступны операции из линейной алгебры, составляющие ядро всех новейших приложений глубокого обучения. Их отличает высокая скорость работы, низкие энергозатраты, увеличение пропускной способности Google Translate, Google Search и систем распознавания речи. Кроме того, для облачных клиентов будут доступны тензорные процессоры второго поколения (TPU). Пользователь сможет создать виртуальную машину, имеющую доступ к аппаратной части TPU, и запускать на ней приложения из TensorFlow.
М. Ф.: Означает ли интеграция этих технологий в облако, что мы приближаемся к общедоступному машинному обучению?
Дж. Д.: У нас есть множество облачных продуктов для опытных пользователей и новичков.
Достаточно отправить нам изображение или аудиоклип, и мы расскажем, что там содержится. Например, «это изображение кота», или «люди на картинке выглядят счастливыми», или «мы извлекли из изображения следующие слова», «мы думаем, что в этом аудиоклипе говорится следующее».
Тем, кто хочет получить индивидуальное решение конкретной проблемы, мы предлагаем набор продуктов с различными стадиями AutoML. Он может из набора изображений сотни видов деталей сборочной линии идентифицировать конкретную деталь.
Мне это кажется важным. По моим прикидкам, в мире существует 10–20 тысяч организаций, в которых есть специалисты по машинному обучению. И миллионов десять компаний, у которых есть пригодные для машинного обучения данные и проблемы, которые можно решить с помощью этой технологии.
Наша цель – сделать так, чтобы применение методов машинного обучения стало таким же простым, как отправка запроса к базе данных. Тогда машинное обучение можно будет использовать в небольших городах для установки таймеров светофоров.
М. Ф.: То есть вы стремитесь к демократизации ИИ. А что, на ваш взгляд, мешает созданию сильного ИИ?
Дж. Д.: При обучении с учителем после постановки задачи начинается сбор данных. В итоге появляется модель, которая хорошо справляется с конкретной задачей, но не умеет ничего другого.
Для получения универсальной интеллектуальной системы нужна модель, способная выполнять сотни тысяч задач. Которая, когда перед ней будет поставлена 100 001-я задача, сможет самостоятельно использовать накопленный опыт для разработки новых, эффективных методов ее решения. Чтобы постепенно для решения новых задач требовалось все меньше и меньше данных и наблюдений.
Я думаю, это можно реализовать путем экспериментов. Возможно, системы могут учиться на демонстрируемых примерах. По сути, это тоже обучение на маркированных данных, просто роботам показывается, скажем, как человек наливает жидкость в стакан, а они повторяют это действие. По идее в таком случае для обучения будет достаточно небольшого количества примеров.
Но для создания таких систем требуется масса вычислительных ресурсов. Ведь, чтобы попробовать разные подходы к решению задач, эксперименты должны проводиться очень быстро. Это одна из причин для инвестиций в крупномасштабные аппаратные ускорители машинного обучения, такие как TPU.
М. Ф.: А какие опасности, с вашей точки зрения, несет с собой ИИ? О чем нам имеет смысл беспокоиться?
Дж. Д.: Правительствам следует готовиться к крупным изменениям на рынках труда. Уже сейчас компьютеры могут автоматизировать многие вещи, которые были недоступны для автоматизации лет пять назад. И постепенно этот процесс затронет множество различных профессий и рабочих мест.
В 2016 г. я присутствовал на заседании Бюро по определению научно-технической политики Белого дома. Там примерно 20 специалистов по машинному обучению и около 20 экономистов обсуждали будущее рынков труда. Потому что это задача правительства – выяснить, что можно предложить людям, чьи рабочие места меняются или исчезают, какие новые навыки или варианты переобучения доступны.
М. Ф.: Потребуется ли нам в один прекрасный день такая вещь, как универсальный базовый доход?
Дж. Д.: Я не знаю. Трудно предсказать, как будут развиваться события, потому что сколько бы связанных с развитием технологий изменений мы ни переживали в прошлом, каждый раз это происходило по-новому. И промышленная революция, и сельскохозяйственная революция вызывали дисбаланс в обществе.
Людям уже сейчас важно проявлять гибкость и изучать новые вещи. Полвека назад выпускник вуза мог начать карьеру и долгое время ее строить, сегодня же обычна ситуация, когда человек, поработав несколько лет, приобретает новые навыки и уходит в другую сферу.