В самые первые дни существования искусственного интеллекта была предпринята попытка провести четкое различие между ИИ и когнитивным моделированием. Предполагалось, что первый станет отраслью инженерного дела и будет работать как угодно, не пытаясь подражать человеческим мыслительным процессам, кроме тех случаев, когда это окажется эффективным. Когнитивное моделирование, напротив, представляло собой дополнение к психологии и нейробиологии. Модель когнитивного моделирования, которая убедительно продемонстрировала бы характерные человеческие ошибки или затруднения, стала бы триумфом, а не провалом. Такое различие в стремлениях продолжает существовать, но почти стерлось из общественного сознания. Для дилетантов искусственный интеллект — это штука, способная пройти тест Тьюринга. Недавние достижения в области ИИ стали в основном результатом того, что мы отказались от моделирования человеческих мыслительных процессов (которые, как мы думали, мы понимаем) и перешли к использованию удивительных возможностей суперкомпьютеров для майнинга данных, чтобы извлечь оттуда важные связи и паттерны. При этом мы уже не пытаемся сделать так, чтобы компьютеры понимали, что делают. По иронии судьбы, такие впечатляющие результаты побуждают многих когнитивистов пересмотреть свою позицию; оказывается, что надо еще многое узнать о том, как мозг осуществляет свою блестящую работу по «продуцированию будущего», и в этом нам помогут методы машинного обучения и майнинга данных.
Но общественность будет упорно предполагать, что любой черный ящик, который способен проделывать такие штуки (безотносительно последних успехов в области разработки искусственного интеллекта), — это разумный агент, во многом похожий на человека, тогда как на самом деле то, что находится в ящике, — это причудливо нарезанная двумерная ткань, сила которой как раз в том и заключается, что у нее нет надстройки в виде человеческого разума со всеми его особенностями: склонностью отвлекаться, волноваться, испытывать эмоции, переживать воспоминания и строить личные привязанности. Это вообще не гуманоидный робот, а бездумный раб, последняя модель автопилота.
В чем проблема с тем, чтобы передать нудную мыслительную работу таким высокотехнологичным штуковинам? Да ни в чем, при условии, что (1) мы не будем сами себя вводить в заблуждение, и (2) нам как-то удастся не допустить атрофии собственных познавательных навыков.
1. Очень-очень трудно принять свойственные нашим помощникам ограничения и не забывать о них, равно как и не забывать о склонности человека всегда приписывать компьютерам разумность, как мы знаем еще со времен печально известной программы «Элиза», написанной Йозефом Вайценбаумом в 1960-х годах. Это очень опасно, ведь мы всегда будем испытывать желание требовать от них большего, чем то, для чего мы их создали, а также доверять полученным ими результатам, когда этого лучше не делать.
2. Используй или потеряешь. Поскольку мы все сильнее зависим от когнитивных протезов, то рискуем стать беспомощными, если они когда-нибудь перестанут работать. интернет — не разумный агент (ну, в каком-то смысле, может, и разумный), но мы тем не менее стали настолько от него зависеть, что, если бы он вдруг сломался, началась бы такая паника, что общество оказалось бы уничтожено за несколько дней. Кстати, к предупреждению этого события нам надо сейчас приложить все усилия, потому что оно может произойти в любой момент.
Реальная опасность — это не те машины, которые станут умнее нас и узурпируют роль хозяев наших судеб. Реальная опасность — это машины, по сути безмозглые, но наделенные нами полномочиями, значительно превосходящими уровень их компетентности.
Наноинтенциональность
Несмотря на огромный прирост вычислительной мощности, нынешние компьютеры думают не так, как это делаем мы (или шимпанзе, или собаки). У основанных на кремнии компьютеров отсутствует важнейшая способность органического разума — способность изменять свою материальную форму и, следовательно, свои будущие вычисления в ответ на события, происходящие в мире. Без этой способности (которую в других работах я назвал наноинтенциональностью), с одной только обработкой данных, нельзя получить мысль, потому что у вычисляемых символов и значений отсутствует какая-либо внутренняя причинно-следственная связь с реальным миром. Любая информация, полученная в результате работы кремниевого процессора, нуждается в интерпретации людьми, чтобы обрести значение, и так все останется и в обозримом будущем. У нас мало причин для того, чтобы бояться разумных машин, куда больше их для того, чтобы бояться все более неразумных людей, которые их используют.
В чем именно выражается особенность биологического, а не кремниевого компьютера? Не бойтесь, я не имею в виду какой-то мистический élan vital[30]. Это наблюдаемая, механистическая особенность живых клеток — особенность, которая развилась посредством обычных эволюционных процессов. В моих построениях нет никакой мистики или «незримого духа». По сути, наноинтенциональность — это способность клеток отвечать на изменения в окружающей среде, перестраивая свои молекулы и, таким образом, изменяя форму. Это свойство есть у амебы, хватающей бактерию, у мышечной клетки, повышающей уровень миозина в ответ на пробежку, или (что наиболее актуально) у нейрона, вытягивающего свои дендриты в качестве реакции на локальную нейровычислительную среду. Наноинтенциональность — основная, непреодолимая, бесспорная особенность жизни на Земле, которой нет у печатных кремниевых микросхем, формирующих «сердце» современного компьютера. Поскольку такое физическое различие между мозгом и компьютером — простой и грубый факт, то остается открытым вопрос: насколько большое значение он имеет для более абстрактных философских проблем, касающихся понятий мысли и значения. И тут ситуация становится сложнее.
Философские обсуждения начинаются с утверждения Канта о том, что наш разум неизменно отделен от типичных объектов наших размышлений — физических сущностей в реальном мире. Мы получаем сведения о них (через фотоны, воздушные колебания или испускаемые молекулы), но наш разум/мозг никогда не вступает с ними в прямой контакт. Таким образом, вопрос о том, как можно утверждать, что сущности нашего разума (мысли, убеждения, желания) якобы направлены на вещи в реальном мире, оказывается неожиданно сложен. Действительно, направленность — это центральная проблема в философии сознания, основа многолетней полемики между такими философами, как Деннет, Фодор и Сёрл. Философы несильно помогли внести ясность, назвав эту мнимую умственную направленность интенциональностью (не путать с обычным значением слова в английском языке: «делать что-то нарочно, умышленно»). Вопросы интенциональности тесно связаны с глубинными проблемами феноменологии сознания, часто выражаемыми терминами «квалиа» и «трудная проблема сознания»[31], но они обращены к более простому и фундаментальному вопросу: как может ментальная сущность (мысль — паттерн нервного возбуждения) быть в любом смысле этого слова связана со своим объектом (вещью, которую вы видите, или человеком, о котором вы думаете)?
Вот ответ скептика, солипсиста: такой связи нет, интенциональность — иллюзия. Это заключение ложно по крайней мере в одной важнейшей области (замечание сделано Шопенгауэром 200 лет назад): единственным местом, где ментальные явления (желания и намерения, что инстанцируется в нервном импульсе) вступают в контакт с реальным миром, являются наши собственные тела (например, нейромышечное соединение). Пластичность живой материи в целом и нейронов в частности означает, что петля обратной связи непосредственно соединяет наши мысли с нашими действиям, просачиваясь обратно через восприятие, где влияет на структуру самих нейронов. Петля каждый день замыкается в нашей голове (в самом деле, если вы завтра вспомните хоть что-нибудь об этом эссе, то лишь потому, что некоторые нейроны в вашем мозгу изменили свою форму, ослабив или усилив синапсы, расширив или сократив число связей). Такой контур обратной связи в принципе не может замкнуться в жестком кремниевом чипе. Это биологическое качество обеспечивает умственную деятельность у человека (а также у шимпанзе и собаки) с присущей ей внутренней интенциональностью, которой нет у современных кремниевых вычислительных систем.
Если утверждение верно (а мои логика и интуиция его поддерживают), машины «думают», «знают» или «понимают» что-либо только в той мере, в какой это делают их создатели и программисты, когда значение добавляется интенциональным, истолковывающим агентом, обладающим мозгом. Любой «интеллект» у компьютера — это исключительно интеллект работающих с ним людей.
Поэтому я не боюсь, что роботы восстанут или начнут бороться за свои права (если только их защитой не решат заняться заблуждающиеся люди). Означает ли это, что можно не беспокоиться до тех пор, пока кто-то не изобретет компьютер с наноинтенциональностью? К сожалению, нет: существует другая опасность, которая исходит от нашей чрезмерной склонности ошибочно приписывать намерение и понимание неодушевленным предметам («Моей машине не нравится низкооктановое топливо»). Думая так о вычислительных артефактах — компьютерах, смартфонах, системах управления, — мы постепенно передаем им (и тем, кто их контролирует) свою обязанность — информированное, компетентное понимание. Ситуация становится опасной, когда мы охотно и с ленцой уступаем ее бесчисленным кремниевым системам (автомобильным навигаторам, смартфонам, системам электронного голосования), которые не только не задумываются о том, что именно они вычисляют, но даже и не знают об этом. Глобальный финансовый кризис дал нам почувствовать, что может произойти в мире, связанном компьютерами, когда реальная ответственность и реальные компетенции окажутся неблагоразумно свалены на машины.