Behavioral and Brain Sciences, а BBS, как его называют, славится своим особым форматом: в каждом номере журнала печатается несколько длинных “целевых статей”, сопровождаемых десятками комментариев экспертов отрасли и ответами авторов. Поскольку BBS – решительно междисциплинарный журнал, как правило, эксперты представляют разные дисциплины, что дает читателю возможность увидеть любопытный срез мнений. В зависимости от того, насколько целевая статья понравилась экспертам – и понравилась ли она им вообще, – можно сделать вывод, стоит ли учитывать ее в своей работе. Кроме того, можно многое узнать о трудностях междисциплинарной коммуникации, в ходе которой уверенные в своей правоте люди упорно не слышат друг друга или участвуют в серьезнейшей академической борьбе. Целевая статья Сёрла спровоцировала волну опровержений, включая и мое (Dennett 1980), в котором я ввел термин “насос интуиции”, чтобы показать, в чем ошибка его мысленного эксперимента.
Термин предложил я, но благодарить за его появление нужно Дага Хофштадтера, поскольку термин родился в ходе наших дискуссий об эссе Сёрла, которые Даг с комментариями перепечатал в нашей антологии “Глаз разума” (Hofstadter, Dennett 1981). Мы сочли предложенный Сёрлом мысленный эксперимент весьма любопытным, поскольку он был, с одной стороны, очевидно ошибочным, а с другой стороны, столь же очевидно убедительным и угодным толпе. Как – и почему – он сработал? Мы проанализировали его, прибегнув к обратному проектированию, и Даг предложил “покрутить все регуляторы”, чтобы объяснить его механику. Выдержит ли эта история изменения или же она всецело зависит от деталей, которые должны бы быть факультативными[69]?
С тех пор прошло более тридцати лет, и я вынужден признать, что “Китайская комната” Сёрла не растеряла своей привлекательности и приобрела огромное влияние. Она стала классикой, изучаемой в тысячах университетов и снова и снова обсуждаемой по сей день. Я много лет использовал ее на собственных занятиях и хорошо разобрался в том, как она работает. Теперь я знаю, как показать, что именно с ней не так[70].
Дело в том, что “Китайская комната”, как я сейчас продемонстрирую, представляет собой дефектный насос интуиции, упорный башмак, который может отключить ваше воображение, если вы не проявите достаточной осторожности. Но прежде всего я хочу сказать, что догадываюсь, что многие из вас сейчас закатывают глаза или даже стонут. Вам не хочется, чтобы я развенчивал этот миф, ведь вывод – создать “сильный” ИИ невозможно, фух! – нравится вам так сильно, что вас вовсе не прельщает перспектива знакомства с педантичной критикой живого, интересного аргумента, который поддерживает вашу отчаянную надежду. Раньше я с презрением относился к такой реакции. Тем из вас, кто реагирует таким образом, нравится, что именитый профессор Беркли приводит знаменитый довод, доказывающий вашу правоту, и вы счастливы поверить ему на слово. Подробности вас не интересуют – важен только вывод. Какое глупое оправдание!
Но затем я поймал себя на этом же и пересмотрел свою категоричную позицию. Признаюсь, я всегда находил квантовую механику несколько отталкивающей и вводящей в заблуждение. Я бы даже предпочел, чтобы она оказалась неправдой! При этом я знаю, что она великолепно справляется с предсказанием и объяснением многих феноменов, включая обыденные явления, например отражение и преломление света и активность белков в сетчатке глаза, благодаря которой мы видим. Квантовая механика – это сердце науки, но понять ее нелегко даже специалистам. Я несколько раз пытался справиться с математикой квантовой механики, но у меня ничего не вышло, поэтому я с интересом, но без какого-либо понимания слежу за научными спорами о ее интерпретации, что, однако, не мешает мне скептически относиться ко многому из того, что говорят по теме предположительно компетентные эксперты. В один прекрасный день я прочитал научно-популярную книгу Марри Гелл-Мана “Кварк и ягуар. Приключения в простом и сложном” (1995), рассчитанную на неспециалистов вроде меня. Мне понравилось, как сурово Гелл-Ман расправляется со всеми мифами и камня на камне не оставляет от наиболее сомнительных представлений, которым каким-то образом удалось завоевать популярность. (Прочитайте главу “Квантовая механика и бред собачий” – и вы поймете, о чем я.) В какой-то момент я поймал себя на мысли “Так их, Мари! Не давай им спуску!” Всемирно известный нобелевский лауреат поддерживал мои предрассудки, используя понятные мне аргументы. Такая квантовая физика была мне по душе! Но потом я подумал: понимаю я в действительности его аргументы – или только вроде как понимаю их? Могу ли с уверенностью сказать, что не иду на поводу у Гелл-Мана? Я надеялся, что не найдется физика, который решит снова растолковать мне все тонкости и продемонстрировать, что я попался в ловушку. Мне так нравились выводы Гелл-Мана, что мне не хотелось копаться в деталях. Я использовал то же самое оправдание.
И все же не совсем. Я добросовестно оцениваю вердикты Гелл-Мана в свете того, что было написано позже (и пока полет нормальный). И я готов признать, что рано или поздно может случиться так, что “здравый смысл” Гелл-Мана, который мне так нравится, окажется очередным обманом воображения. Умоляю вас, попробуйте столь же непредвзято отнестись к моей попытке разоружить и нейтрализовать “Китайскую комнату” Сёрла. Я постараюсь подсластить вам горькую пилюлю.
В 1950 г. Алан Тьюринг предложил тест, который должен был, по его мнению, стать лакмусовой бумажкой для измерения интеллекта машины. Теперь он называется тестом Тьюринга. В ходе него судья беседует с двумя сущностями – компьютером и человеком, – скрытыми из виду и коммуницирующими посредством “телетайпа” (скажем, монитора и клавиатуры). Человек пытается продемонстрировать судье свою истинную человечность, а компьютер пытается заставить судью признать его человеком. Если судья не в состоянии сказать наверняка, кто из них человек, то компьютер (программа) проходит тест Тьюринга и признается не только разумным, но и “сознательным в том же смысле, что и человек”, как выразился в 1988 г. Сёрл. Прохождение теста Тьюринга, по мнению многих специалистов, стало бы доказательством возможности создания “сильного” ИИ. Почему? Они (как и Тьюринг) полагали, что подобную беседу невозможно вести, не понимая ее смысла, а следовательно, успех тестируемого компьютера свидетельствовал бы о том, что машина понимает значения своих слов[71]. Обратите внимание, что тест Тьюринга не отличает – и не может отличить – зимбо от “поистине сознательного” человека, поскольку зимбо с тем же успехом делают все, на что способны сознательные люди. Как замечают многие, утверждение, что проходящая тест Тьюринга сущность не только разумна, но и сознательна, бросает вызов чутью на зомби. Казалось бы, из-за этого тест Тьюринга не может использоваться для проверки сознательности, однако нам не стоит делать выводов, пока мы не разберемся в деталях. Программа, проходящая тест Тьюринга, может обладать лишь характерным для зимбо потоком бессознательного, не имея нашего потока сознания, однако мы только что сказали, что это идет вразрез с чутьем на зомби, которое гласит, что разница между ними принципиальна. Может, программа-зимбо лишь вроде как сознательна? В каком именно отношении она не оправдывает ожиданий? Возможно, свет на это прольет насос интуиции Сёрла: судя по всему, в нем используется доведение до абсурда, дискредитирующее идею о “сильном” ИИ.
Сёрл предлагает нам представить, что он заперт в комнате и вручную моделирует работу огромной программы ИИ, якобы понимающей китайский язык. Он оговаривается, что программа проходит тест Тьюринга, пресекая все попытки человека отличить ее от сущности, понимающей китайский на самом деле. Не знающий китайского Сёрл заперт в комнате и манипулирует цепочками символов в соответствии с инструкцией, (очевидно) не приобретая в процессе способности понимать китайский. Больше в комнате нет ничего, что понимало бы китайский язык. (Комната пуста – в ней находятся только Сёрл и “клочки бумаги”, на которых написаны его инструкции. В точности следуя им, он “вручную моделирует” работу гигантской программы.) Сёрл не понимает китайский, но и (динь!) Сёрл с клочками бумаги тоже не понимает китайский. Следовательно, ничто в китайской комнате не понимает китайский, хотя программа и может вести беседу на уровне, достаточном, чтобы обмануть носителей китайского языка. Подобно компьютеру, Сёрл различает китайские иероглифы исключительно по их форме: и для него, и для компьютера они представляют собой лишь различные бессмысленные “загогулины”, поэтому Сёрл в китайской комнате – это лишь реализация соответствующей компьютерной программы. Эта программа выполняет свою задачу, не понимая китайский, работая хоть на кремниевых чипах, хоть на Сёрле.
Так просто и так убедительно! Разве с этим мысленным экспериментом может быть хоть что-то не так? Увы, да. Когда Сёрл представил его в Беркли, специалисты по компьютерным наукам в ответ привели довод, который Сёрл назвал “аргументом о системе” (Беркли):
Хотя запертый в комнате индивид действительно не понимает происходящего, он представляет собой лишь часть целой системы, а система происходящее понимает. Индивид пользуется толстой книгой с правилами, имеет большое количество бумаги и карандашей для осуществления расчетов, а также располагает “базами данных” с наборами китайских иероглифов. Понимание приписывается не одному индивиду, а всей системе, частью которой он является. [Hofstadter, Dennett 1981, p. 358]
Ответ Сёрла на этот аргумент весьма показателен:
Мне даже немного неловко… потому что эта теория кажется мне невероятной. Мысль заключается в том, что человек может не понимать китайский, но