Текст, сгенерированный GPT-2
Ученый назвал этих существ «единорогами Овидия» по их характерному рогу. Эти четырехрогие серебристо-белые единороги были до сих пор неизвестны науке.
Сегодня, почти через два столетия, наконец раскрыта тайна происхождения этого удивительного явления.
Доктор Хорхе Перес, эволюционный биолог из Университета Ла-Паса, и несколько его спутников, исследуя Анды, обнаружили маленькую долину, где не было ни других животных, ни людей. Перес обратил внимание, что в долине имеется природный источник, обрамленный двумя горными пиками, покрытыми серебряным снегом.
Перес и его спутники проникли в глубь долины. «Когда мы достигли вершины горного пика, вода выглядела голубой с какими-то кристаллами на поверхности», — рассказал Перес.
Перес с друзьями были поражены, увидев стадо единорогов. За этими существами можно было наблюдать с воздуха, не совершая лишних перемещений, чтобы их увидеть, — они находились так близко, что можно было потрогать их рога.
Рассматривая этих диковинных созданий, ученые обнаружили, что те еще и разговаривают на весьма правильном английском языке. Перес заявил: «Мы заметили, например, что у них имеется общий „язык“, нечто вроде диалекта или диалектики»[176].
История на этом не кончается, есть еще несколько абзацев, но уже в самом начале мы узнаем об открытии нового вида «четырехрогих» единорогов. Далее нам сообщают, что единороги разговаривают на «правильном английском языке», однако у них «имеется общий „язык“, нечто вроде диалекта или диалектики». Остается лишь гадать, как следует понимать предложение: «За этими существами можно было наблюдать с воздуха, не совершая лишних перемещений, чтобы их увидеть, — они находились так близко, что можно было потрогать их рога».
Совершенно ясно, что, хотя в миллионах искусственных нейронов, составляющих огромную систему OpenAI, действительно что-то складывается, реальное понимание отсутствует. Система не знает, кто такой единорог и что «четырехрогая» разновидность противоречит смыслу этого слова. GPT-2 страдает от тех же принципиальных ограничений, что пытаются преодолеть команда Дэвида Ферруччи из Elemental Cognition и Рэй Курцвейл в Google.
В мае 2020 года OpenAI выпустила GPT-3, гораздо более мощную систему. Если нейронная сеть GPT-2 включала около 1,5 млрд весов, оптимизировавшихся в процессе обучения, то в GPT-3 их число было увеличено более чем в 100 раз, до 175 млрд. Нейронная сеть GPT-3 была обучена почти на полутерабайте текстов. Это огромный объем, вся англоязычная версия «Википедии» — порядка 6 млн статей — составляет лишь около 0,6 % от него. OpenAI на раннем этапе предоставила избранной группе исследователей ИИ и журналистов доступ к новой системе и объявила, что планирует со временем превратить ее в свой первый коммерческий продукт.
В следующие несколько недель, когда люди начали экспериментировать с GPT-3, соцсети бурлили в изумлении от ее возможностей. Получив подходящие стартовые фрагменты, GPT-3 могла писать убедительные статьи или стихотворения в стиле давно умерших авторов. Она умела даже генерировать псевдодиалоги исторических или вымышленных фигур. Один студент колледжа с помощью этой системы сгенерировал все посты для блога в жанре «помоги себе сам», который взлетел на вершину рейтинга[177]. Все это породило разговоры о том, что система является принципиальным прорывом на пути к машинному интеллекту человеческого уровня.
Однако скоро стало ясно, что самые впечатляющие примеры были выбраны из массы вариантов и что GPT-3, как и ее предшественница, часто выдавала складно написанную бессмыслицу. Обе системы OpenAI по сути представляют собой мощные механизмы прогнозирования. Если дать им последовательность слов, они превосходно предсказывают, каким будет следующее слово. GPT-3 достигла в этом деле беспрецедентного уровня, и, поскольку гигантский поток текстов, на которых система была обучена, несет в себе реальные знания, она действительно часто выдает очень полезный результат. Однако и у GPT-3 нет стабильности, и она нередко выдает чушь и не может справиться с заданиями, которые показались бы простыми любому человеку[178]. По сравнению со своей предшественницей GPT-3, безусловно, может написать гораздо более увлекательный рассказ о единорогах. Однако и она не понимает, что такое единорог.
Что, если OpenAI продолжит просто вбрасывать в эту задачу больше вычислительных ресурсов, создавать все более мощные нейронные сети? Есть ли вероятность появления истинного понимания? Мне это представляется крайне маловероятным, и многие эксперты в области ИИ чрезвычайно критически относятся к упорной вере OpenAI в масштабируемость. Стюарт Рассел, профессор компьютерных наук из Калифорнийского университета в Беркли, соавтор лучшего в мире университетского учебника по искусственному интеллекту, сказал мне, что для создания универсального ИИ потребуются прорывы, «совершенно не связанные с более крупными комплексами данных или более быстрыми машинами»[179].
Тем не менее команда OpenAI не теряет уверенности. Выступая в 2018 году на конференции, посвященной технологиям, ведущий ученый компании Илья Суцкевер сказал: «Мы оценили прогресс в этой области за последние шесть лет. По нашему мнению, существует очень серьезная возможность появления универсального ИИ в ближней перспективе»[180]. Через несколько месяцев на другой конференции генеральный директор OpenAI Сэм Альтман заявил: «Я действительно считаю, что секрет создания [универсального ИИ] в значительной мере кроется в недостаточном масштабе этих систем — их нужно делать все крупнее и крупнее»[181]. Судьба этого подхода еще не определена, но, на мой взгляд, для успеха OpenAI следует расширять поиски подлинных инноваций, а не просто наращивать размер нейронных сетей.
Возрождение символического ИИ и споры вокруг врожденной структуры
Пока исследователи сражаются с трудностями, идеи, проповедуемые сторонниками символического ИИ, переживают своеобразное возрождение. Практически все признают, что задачи, с которыми не слишком успешно пытались справиться символисты, должны быть решены, чтобы искусственный интеллект мог развиваться. За исключением относительно немногочисленных убежденных приверженцев глубокого обучения — в основном связанных с OpenAI — мало кто уверен в том, что простого масштабирования существующих нейронных алгоритмов в сочетании с более быстрыми компьютерами и более значительными объемами данных будет достаточно для возникновения логического мышления и понимания на уровне здравого смысла, без которых невозможен универсальный интеллект.
Положительная сторона сложившейся ситуации видится в том, что на сей раз вместо противоборства философских систем символистов и коннекционистов нас, возможно, ждет примирение и попытка интеграции. Новая область исследования была названа «нейросимволический ИИ». Не исключено, что это одно из самых важных начинаний для дальнейшей судьбы искусственного интеллекта. Десятилетия соперничества, порой жесткого, остались в прошлом, и новое поколение исследователей ИИ готово попытаться преодолеть разрыв между двумя подходами. Дэвид Кокс, директор лаборатории исследования ИИ Watson в Кембридже — совместного детища МТИ и IBM, говорит, что молодые исследователи «не имеют ничего общего с этой историей» и «готовы исследовать пересечения [подходов] и просто хотят заниматься чем-то крутым в области ИИ»[182].
Существует два взгляда на пути достижения этой интеграции. Можно пойти напрямую, просто создавая гибридные системы, объединяющие нейронные сети с программными модулями на основе традиционных методов программирования. Алгоритмы, способные поддерживать логическое и символическое мышление, необходимо каким-то образом связать с глубокими нейронными сетями, сфокусированными на обучении. Это стратегия команды Дэвида Ферруччи из Elemental Cognition. Можно пойти другим путем — найти способ реализации возможностей символического ИИ непосредственно в архитектуре нейронных сетей. Этого можно достичь, сконструировав необходимую структуру в глубокой нейросети или — что мне представляется намного более умозрительным — разработав и систему глубокого обучения, и методику обучения настолько эффективные, чтобы требуемая структура возникла естественным образом сама. Возможно, молодые исследователи захотят изучить все возможности, но между специалистами, уже зарекомендовавшими себя в этой области, не утихает острая полемика по вопросу о том, какой путь является наилучшим.
Одним из самых яростных поборников гибридного подхода является Гэри Маркус, до недавнего времени профессор психологии и нейробиологии Нью-Йоркского университета. Маркус всегда резко критиковал чрезмерную, на его взгляд, концентрацию на глубоком обучении и в статьях и дебатах отстаивал мысль, что глубокие нейросети так и останутся поверхностными и хрупкими, а вероятность появления универсального интеллекта будет крайне малой, если отказаться от прямого использования идей, почерпнутых из символического ИИ. Маркус посвятил большую часть своей карьеры исследователя изучению того, как дети учатся и овладевают речью, и считает чрезвычайно маловероятным, что чистый подход на основе глубокого обучения позволит приблизиться к удивительным возможностям маленького человека. Его критика не всегда адекватно воспринималась сообществом ученых, занимающихся глубоким обучением. Несмотря на участие в создании стартапа по машинному обучению, который был куплен компанией Uber в 2015 году, этот лагерь считает его аутсайдером, не внесшим существенного вклада в область ИИ.