Описание проекта Ли ImageNet было опубликовано в 2009 году, и скоро он стал незаменимым ресурсом для исследователей в области машинного зрения. С 2010 года Ли проводит ежегодное состязание для команд из университетов и корпоративных исследовательских лабораторий, выставляющих на конкурс алгоритмы для классификации изображений из этого огромного комплекса данных. Конкурс ImageNet Large Scale Visual Recognition Competition, состоявшийся два года спустя, в сентябре 2012 года, пожалуй, знаменует переломный момент для технологии глубокого обучения[132]. Джефф Хинтон совместно с Ильей Суцкевером и Алексом Крижевским из исследовательской лаборатории Торонтского университета представил многослойную сверточную нейронную сеть, которая с большим отрывом победила конкурирующие алгоритмы, убедительно продемонстрировав, что технология на основе глубоких нейронных сетей стала в полной мере практической. Триумф команды Хинтона вызвал большой резонанс в сообществе исследователей ИИ и показал, насколько продуктивно соединение огромных баз данных с мощными нейронными алгоритмами. Вскоре этот симбиоз обеспечил достижения, казавшиеся всего несколько лет назад возможными исключительно в научной фантастике.
Эту краткую справку можно назвать классической историей глубокого обучения. Особенно масштабными фигурами в ней представляются лауреаты премии Тьюринга 2018 года Джефф Хинтон, Ян Лекун и Йошуа Бенджио, профессор Монреальского университета, которых нередко называют крестными отцами глубокого обучения. (Иногда их величают даже крестными отцами ИИ, что ярко демонстрирует безграничное господство в этой области глубокого обучения, оттеснившего символические подходы, первоначально находившиеся в центре внимания.) Впрочем, есть и другая версия данной истории. Как и в большинстве других научных областей, конкуренция за признание здесь невероятно остра, и это немудрено из-за ощущения, что прогресс в создании ИИ уже перешел тот пороговый уровень, за которым следует подлинное историческое преобразование как общества, так и экономики.
Самым активным сторонником альтернативной истории является Юрген Шмидхубер, содиректор Института исследований искусственного интеллекта Далле Молле в Лугано, Швейцария. В 1990-х годах Шмидхубер со своими студентами создал нейронную сеть особого типа, реализовавшую «долгую краткосрочную память» (long short-term memory, LSTM). LSTM позволяет сетям «помнить» данные из прошлого и включать их в текущий анализ. Эта способность оказалась принципиально важной в таких областях, как распознавание речи и языковой перевод, где контекст, созданный предыдущими словами, оказывает громадное влияние на точность. Такие компании, как Google, Amazon и Facebook, активнейшим образом используют LSTM, и Шмидхубер считает, что именно работа его команды, а не более знаменитых исследователей из Северной Америки обусловила прогресс в создании ИИ.
В электронном письме, присланном мне вскоре после издания книги «Архитекторы интеллекта» — в которую я включил краткий обзор классической истории глубокого обучения, Шмидхубер написал: «Многое из того, о чем вы говорите, вводит в заблуждение, что весьма печально!»[133]. По его мнению, истоки глубокого обучения находятся не в Соединенных Штатах или Канаде, а в Европе. Первый алгоритм обучения для многослойных нейронных сетей, по его словам, был описан украинским исследователем Алексеем Григорьевичем Ивахненко[134] в 1965 году, а алгоритм обратного распространения предложил в публикации 1970 года — за полтора десятилетия до появления знаменитой статьи Румельхарта — финский студент Сеппо Линнайнмаа. Очевидно разочарование Шмидхубера из-за недостаточного признания его собственных исследований, известна и его привычка едко прерывать доклады на конференциях по ИИ обвинениями в «заговоре» с целью переписать историю глубокого обучения, особенно со стороны Хинтона, Лекуна и Бенджио[135]. Эти более известные исследователи в свою очередь энергично защищаются от нападок. Лекун сказал репортеру The New York Times: «Юрген маниакально одержим идеей признания и упорно приписывает себе несуществующие заслуги»[136].
Скорее всего, разногласия по вопросу об истинном источнике глубокого обучения сохранятся, но не приходится сомневаться, что после состязания ImageNet 2012 года этот метод быстро захватил сферу искусственного интеллекта — как и большую часть крупнейших компаний хай-тека. Американские технологические гиганты Google, Amazon, Facebook и Apple, а также китайские Baidu, Tencent и Alibaba сразу же оценили подрывной потенциал глубоких нейронных сетей и стали создавать команды исследователей и включать эту технологию в свои продукты и деятельность. Google пригласила на работу Джеффа Хинтона, Ян Лекун стал директором новой лаборатории Facebook по исследованию ИИ, и всю эту отрасль охватила полномасштабная война по перекупке специалистов, вследствие чего зарплаты и опционы на акции даже у новоиспеченных выпускников вузов со специализацией в области глубокого обучения стали заоблачными. В 2017 году генеральный директор Сундар Пичаи объявил, что для Google теперь «ИИ на первом месте» и работа над искусственным интеллектом станет одним из важнейших направлений конкуренции компании с другими технологическими гигантами[137]. Google и Facebook придают такое значение этой технологии, что исследователи глубокого обучения получают кабинеты в непосредственной близости от кабинета гендиректора[138]. К концу десятилетия нейронные сети стали настолько господствовать в сфере ИИ, что СМИ часто используют понятия «глубокое обучение» и «искусственный интеллект» как синонимы.
Глава 5Глубокое обучение и будущее искусственного интеллекта
Внедрение глубокого обучения крупнейшими в мире технологическими компаниями наряду с появлением все более мощных компьютеров и приложений для бизнеса, использующих возможности нейронных сетей, почти не оставляет сомнений, что эта технология прочно вошла в нашу жизнь. Ясно, однако, что текущий темп развития поддерживать сложно и что будущие достижения требуют принципиальных инноваций. Как мы увидим, одним из самых важных в дальнейшем станет вопрос о том, не качнется ли маятник разработки ИИ назад, к символическому подходу и, если это случится, что нужно сделать для его успешного объединения с нейронными сетями. Прежде чем погрузиться в исследование будущего искусственного интеллекта, давайте чуть более предметно познакомимся с принципами глубокого обучения и с обучением этих сетей решению определенных задач.
Как работает глубокая нейронная сеть
В СМИ системы глубокого обучения часто называют «похожими на головной мозг», из-за чего можно легко прийти к ошибочному представлению о сходстве нейронных сетей, применяемых в искусственном интеллекте, с их биологическим образцом. Мозг человека, пожалуй, самая сложная система в известной Вселенной, имеющая около 100 млрд нейронов и сотни триллионов связей. Однако ошеломляющий уровень сложности связан не просто с огромным количеством связей. Он обусловлен работой самих нейронов и тем, как они передают сигналы и адаптируются к новой информации с течением времени.
У биологического нейрона различают три части: тело клетки, где находится ядро, многочисленные отростки — дендриты, принимающие входящие электрические сигналы, и один намного более длинный и тонкий отросток, так называемый аксон, по которому нейрон передает выходной сигнал другим нейронам. И дендриты, и аксон обычно сильно разветвлены, так что дендриты порой принимают возбуждающие сигналы от десятков тысяч других нейронов. Когда совокупность сигналов, поступающих через дендриты, возбуждает нейрон, он генерирует выходной электрический сигнал — так называемый потенциал действия. Однако связи в головном мозге — это не сеть электрических цепей. Аксон одного нейрона передает химический сигнал дендриту другого через особое соединение — синапс. Эти электрохимические взаимодействия играют принципиальную роль в работе мозга и его способности учиться и приспосабливаться, но во многих случаях не до конца понятны. Взять хотя бы механизм действия нейромедиатора дофамина, вещества, связанного с удовольствием или вознаграждением.
Искусственная нейронная сеть отбрасывает почти все эти детали и пытается создать грубое математическое подобие работы и связей нейронов. Если уподобить головной мозг Моне Лизе, то структуры, используемые в системах глубокого обучения, будут в лучшем случае чем-то вроде Люси из Peanuts[139]. Основной план построения искусственных нейронов появился еще в 1940-х годах, и в последующие десятилетия работа над этими системами по большей части была отделена от нейрологии. Алгоритмы для систем глубокого обучения разрабатывались независимо, часто экспериментальным путем и без стремления моделировать процессы, которые могут реально происходить в мозге человека.
Чтобы визуализировать искусственный нейрон, представьте себе контейнер, в который входят три или больше трубок, подводящих воду. Эти трубки можно уподобить дендритам биологического нейрона. Имеется также трубка аксона для выходящего потока воды. Если уровень воды, поступающей по входным трубкам, достигает определенной отметки, нейрон возбуждается и выбрасывает исходящий поток через трубку-аксон.
Ключевой элемент, превращающий такую конструкцию в полезное вычислительное устройство, — это клапан, встроенный в каждую из входящих трубок, который позволяет управлять поступлением воды. Манипулируя клапанами, можно напрямую регулировать влияние одного нейрона на другой. Процесс обучения нейронной сети решению полезных задач, в сущно