Все это очень впечатляет, и результаты не оставляют сомнений: глубокое обучение работает для определенных задач. Но это полная противоположность прозрачности. Даже программисты AlphaGo не могут сказать вам, почему эта программа играет так хорошо. По опыту они знали, что глубокие сети успешно решают задачи компьютерного зрения и распознавания речи. В то же время наше понимание глубокого обучения полностью эмпирическое и не дает никаких гарантий. В начале команда AlphaGo не могла предвидеть, что программа победит лучшего из игроков-людей через год, два или пять лет. Они просто экспериментировали, и все получилось.
Кто-то скажет, что прозрачность на самом деле не нужна. У нас нет детального понимания того, как работает человеческий мозг, и все же он работает хорошо, и мы прощаем себе эту скудость понимания. В таком случае, почему не использовать системы глубокого обучения, чтобы создать новый вид интеллекта, не понимая, как он работает? Я не могу утверждать, что это неверный подход. В настоящий момент «неряхи» взяли на себя инициативу. Тем не менее скажу, что лично мне не нравятся непрозрачные системы, и поэтому я не собираюсь их исследовать.
Оставив в стороне мои предпочтения, к аналогии с человеческим мозгом можно добавить еще один фактор. Да, мы прощаем себе скудное понимание работы человеческого мозга, но все еще можем общаться с другими людьми, учиться у них, наставлять их и мотивировать на нашем родном языке причин и следствий. Мы делаем это, потому что наш мозг работает так же, как и у них. Но если все наши роботы будут такими же непрозрачными, как AlphaGo, мы не сможем вести с ними содержательные разговоры, а это будет весьма прискорбно.
Когда мой домашний робот включает пылесос, пока я еще сплю, и я говорю ему: «Не надо было меня будить», я хочу, чтобы он понял: не стоило пылесосить. Но я не хочу, чтобы он интерпретировал эту жалобу как указание никогда больше не пылесосить наверху. Он должен понимать то, что прекрасно понимаем мы с вами: пылесосы шумят, шум будит людей и некоторые люди этому не рады. Другими словами, наш робот должен понимать причинно-следственные связи — по сути, контрфактивные отношения вроде закодированных во фразе «не надо было».
Действительно, обратите внимание на богатое содержание этого короткого предложения с инструкцией. Нам не нужно сообщать роботу, что то же самое относится к уборке пылесосом внизу или где-либо еще в доме, но не когда я бодрствую или отсутствую и не в случае, если пылесос оснащен глушителем и т. д. Может ли программа глубокого обучения понять всю полноту этой инструкции? Вот почему я не удовлетворен очевидно прекрасной производительностью непрозрачных систем. Прозрачность обеспечивает эффективное общение.
Но один аспект глубокого обучения меня все-таки интересует: теоретические ограничения этих систем и, в первую очередь, ограничения, проистекающие из их неспособности выйти за пределы первого уровня на Лестнице Причинности. Это ограничение не препятствует работе AlphaGo в узком мире игры го, поскольку описание доски вместе с правилами игры составляет адекватную причинную модель для мира го. Тем не менее это препятствует системам обучения, которые действуют в средах, управляемых насыщенными сетями причинных сил, но имея при этом доступ только к поверхностным их проявлениям. Медицина, экономика, образование, климатология и социальная сфера — типичные примеры таких сред. Подобно узникам в знаменитой пещере Платона, системы глубокого обучения исследуют тени на стене и учатся точно предсказывать их движения. Им не хватает понимания того, что наблюдаемые тени — лишь проекции трехмерных объектов, движущихся в трехмерном пространстве. Сильный ИИ требует этого понимания.
Исследователи глубокого обучения знают об этих основных ограничениях. Так, экономисты, использующие машинное обучение, отметили, что их методы не отвечают на ключевые вопросы нынешнего времени, положим не позволяют оценить, как подействуют неопробованные пока методы и меры. Типичные примеры здесь — новые принципы ценообразования, субсидии, изменение минимальной заработной платы. С технической точки зрения методы машинного обучения сегодня обеспечивают эффективный способ перейти от анализа конечных выборок к распределениям вероятностей, но нам еще только предстоит перейти от последних к причинно-следственным связям.
Когда мы начинаем говорить о сильном ИИ, причинные модели превращаются из роскоши в необходимость. Для меня сильный ИИ — это машина, которая может размышлять о своих действиях и извлекать уроки из совершенных ошибок. Она должна понимать высказывание «Надо было поступить иначе» независимо от того, говорит ли это ей человек или она сама приходит к такому выводу. Контрфактивная интерпретация этого утверждения выглядит так: «Я сделал X = X, и результат был Y = Y. Но если бы я действовал иначе, скажем, X = X¢, то результат был бы лучше, возможно, Y = Y¢». Как мы уже увидели, оценка таких вероятностей была полностью автоматизирована при наличии достаточного объема данных и адекватно обозначенной причинной модели.
Более того, я думаю, что очень важной целью для машинного обучения будет более простая вероятность P (YX = X1 = Y¢ | X = X), когда машина наблюдает X = X, но не результат Y, а затем спрашивает о результате альтернативного события X = X¢. Если машина способна вычислить эту величину, то это преднамеренное действие можно рассмотреть как наблюдаемое событие (X = x) и спросить: «А если я поменяю решение и сделаю вместо этого X = X¢?» Это выражение математически эквивалентно эффекту лечения на уже пролеченных (упоминается в главе 8), и у нас есть масса результатов, которые показывают, как его оценить.
Намерение — очень важная составляющая в процессе принятия решений. Если бывший курильщик чувствует позыв зажечь сигарету, ему стоит очень хорошо подумать о том, какие причины стоят за этим намерением и спросить, не приведет ли противоположное действие к лучшему исходу. Способность формировать собственное намерение и использовать его как доказательство в причинно-следственных рассуждениях — это уровень осознанности (если не самосознания), которого не достигла ни одна из известных мне машин. Я хотел бы иметь возможность ввести машину в искушение и увидеть, как она говорит: «Нет».
Обсуждение намерения неизбежно ведет к еще одной проблеме, стоящей перед сильным искусственным интеллектом, — проблеме свободы воли. Если мы попросим машину заиметь намерение сделать X = x, осознать его и выбрать вместо этого X = x¢, то представляется, что мы попросим ее проявить свободную волю. Но как у робота может быть свобода воли, если он просто следует инструкциям, записанным в программе?
Философ Джон Сёрл из Калифорнийского университета в Беркли назвал проблему свободы воли «скандалом в философии» отчасти потому, что со времен античности не произошло никакого прогресса в ее разработке, и отчасти потому, что мы не можем отмахнуться от нее как от оптической иллюзии. Вся наша концепция «себя» предполагает присутствие такой вещи, как свобода выбора. Например, нет никакого очевидного способа примирить мое яркое, безошибочное ощущение возможности (скажем, прикоснуться или не прикоснуться к носу) с пониманием реальности, которая предполагает каузальный детерминизм: все наши действия вызваны электрическими нейронными сигналами, идущими от мозга.
В то время как многие философские проблемы со временем исчезли в свете научного прогресса, свободная воля упрямо остается загадкой, такой же свежей, какой она казалось Аристотелю и Маймониду. Более того, хотя основания для свободного волеизъявления порой находили в сфере духовности или теологии, эти объяснения не подошли бы для программируемой машины. Поэтому появление свободной воли у роботов непременно будет результатом ухищрений — по крайней мере, такова догма.
Не все философы считают, что между свободной волей и детерминизмом действительно есть столкновение. Группа под названием «совпаденцы», к которой я причисляю с себя, считает это лишь очевидным столкновением между двумя уровнями описания: нейронным, на котором процессы кажутся детерминистскими (за исключением квантового индетерминизма), и когнитивным, на котором у нас есть живое ощущение возможностей. Такие явные несоответствия не столь уж редки в науке. Например, уравнения физики обратимы во времени на микроскопическом уровне, но кажутся необратимыми на макроскопическом уровне описания; дым никогда не возвращается в дымоход. Но это поднимает новые вопросы: если допустить, что свобода воли является (или может быть) иллюзией, почему для нас, людей, так важно иметь эту иллюзию? Почему эволюция приложила усилия, чтобы наделить нас этой концепцией? Уловка это или нет, должны ли мы запрограммировать следующее поколение компьютеров, чтобы создать эту иллюзию? Зачем? Какие вычислительные преимущества это влечет за собой?
Я думаю, что для решения этой вечной загадки — проблемы примирения свободы воли с детерминизмом — нужно понять преимущества иллюзии свободы. Проблема исчезнет на наших глазах, если мы наделим детерминированную машину такими же преимуществами.
Вместе с этой загадкой о функции мы также должны справиться с задачей симуляции. Если нейронные сигналы от мозга запускают все наши действия, то перед ним стоит вечная задача постоянно определять одни действия как «волевые» или «намеренные», а другие — как «непреднамеренные». Что именно представляет собой этот процесс маркировки? Какая нейронная связь обеспечит тому или иному сигналу звание «намеренного»? Во многих случаях добровольные действия распознаются по следу, который они оставляют в кратковременной памяти, причем этот след отражает цель или мотивацию. Например: «Почему ты это сделала?» — «Хотела произвести на тебя впечатление». Или, как невинно ответила Ева: «Змей обольстил меня, и я ела». Но во многих других случаях намеренное действие совершается, однако у него нет очевидных причин или мотивов. Рационализация действий может быть реконструктивным процессом, который происходит уже после действия. Так, футболист может объяснить, почему он решил передать мяч Джо, а не Чарли, но редко бывает, чтобы эти причины сознательно запускали действие. В пылу игры тысячи входных сигналов соревнуются за внимание игрока. Важнейшее решение состоит в том, какому сигналу дать приоритет, а причины трудно вспомнить и сформулировать.