НОВЫЙ УМ КОРОЛЯ И ДРУГИЕ ИСТОРИИ
1. Меч в камне
Итак, иными словами, если мы считаем машину непогрешимой, то она не может быть одновременно и разумной. Существует несколько теорем, которые утверждают практически то же самое. Но эти теоремы ничего не говорят о том, какая степень интеллекта может быть продемонстрирована, если машина не притязает на непогрешимость.
Предпринимавшиеся на протяжении долгих лет попытки использовать теорему Гёделя, чтобы доказать нечто важное в отношении природы человеческого разума, носят эфемерный характер романтической истории. В перспективе «использовать науку» в подобных целях есть нечто странным образом будоражащее. Думаю, я могу сказать, что именно. Ключевым для понимания текстом является не сказка Ганса Христиана Андерсена о новом платье короля, а легенда артуровского цикла о мече в камне. Некто (разумеется, наш герой) обладает особой, возможно, даже волшебной силой, которая в большинстве случаев практически незаметна, но в особых случаях может быть довольно-таки очевидным образом явлена: если вы способны вытащить меч из камня, эта сила у вас есть; если не способны – ее нет. Это ясная всем победа – или поражение; они не требуют каких-либо особых толкований или специальных ходатайств в чью-либо пользу. Вытащите меч, и победа за вами, вот и все.
Романтически настроенным людям теорема Гёделя сулит столь же драматическое подтверждение уникальности человеческого разума. Кажется, что эта теорема определяет, какое деяние может совершить подлинный человеческий разум, но не самозванец, не всего лишь управляемый алгоритмами робот. Нас не должны заботить технические детали самого доказательства Гёделя; нет математика, который сомневался бы в его обоснованности. Проблема заключается в том, как применить теорему для доказательства чего-то относительно природы разума. Слабость в любом подобном доводе должна возникнуть на ключевом эмпирическом этапе: этапе, когда мы поднимаем взгляд и видим, как наши герои (мы сами, люди-математики) делают то, чего просто не может сделать робот. Является ли такой подвиг, подобный извлечению меча из камня, подвигом ни с чем не сравненным, или это подвиг, который невозможно с легкостью (если вообще возможно) отличить от деяний, к такому подвигу лишь приближающихся? Это – ключевой вопрос, и то, чем именно является этот отличительный подвиг, стало предметом множества споров. Виновником некоторых из них был сам Курт Гёдель, ибо он полагал, что доказал, будто человеческий разум должен быть небесным крюком.
В 1931 году Гёдель, молодой математик из Венского университета, опубликовал свое доказательство, одну из наиболее важных и неожиданных работ в истории математики XX века, наложив на математическое доказательство абсолютное ограничение, что и в самом деле весьма поразительно. Вспомните евклидову геометрию, которую вы изучали в старших классах и узнали, как создавать формальные доказательства геометрических теорем, опираясь на список фундаментальных аксиом и определений, используя ограниченный перечень правил логического вывода. Вы учились использовать аксиоматизируемость планиметрии. Помните, как учительница рисовала на доске геометрический чертеж, изображающий, скажем, треугольник, стороны которого под разными углами пересекали различные прямые линии, и затем спрашивала вас: «Должны ли эти линии пересечься под прямым углом? Является ли тот треугольник равным этому?» Зачастую ответ был очевиден: вы могли видеть, что линии должны пересечься под прямым углом, что треугольники равны. Но совсем иным делом (в действительности, требовавшим известных усилий, прилагаемых не без внешнего побуждения) было формально доказать это, исходя из аксиом и в соответствии со строгими правилами. Глядя, как учительница чертит на доске новый чертеж, задавались ли вы когда-нибудь вопросом, возможны ли в планиметрии такие факты, истинность которых можно видеть, но и за миллион лет невозможно доказать? Или вам казалось очевидным, что, если вы сами неспособны придумать доказательство какого-либо геометрического утверждения, претендующего на истинность, то это – всего лишь знак вашей собственной беспомощности? Возможно, вы думали: «Доказательство должно быть, ибо это – правда, даже если я не могу его отыскать!»
Это – в высшей степени правдоподобная точка зрения, но Гёдель вне всяческих сомнений доказал, что, когда дело доходит до аксиоматизации элементарной арифметики (не планиметрии), есть истины, которые, как «мы можем видеть», истинны, но их истинность совершенно невозможно формально доказать. Строго говоря, это утверждение нужно тщательно ограничить: для любой частной системы аксиом, которая является логически непротиворечивой (а не допускающей некоторые внутренние противоречия – это дисквалифицирующий порок), должно быть арифметическое предложение, ныне известное как предложение Гёделя для этой системы, которое является истинным, но которое внутри системы невозможно доказать. (На самом деле таких истинных предложений должно быть много, но, чтобы тезис был верен, нам нужно лишь одно.) Можно менять системы и доказывать это предложение Гёделя в следующей избранной нами системе аксиом, но если она внутренне непротиворечива, то в свою очередь породит свое собственное предложение Гёделя, и так далее до бесконечности. Невозможна одна-единственная непротиворечивая аксиоматизация арифметики, способная доказать все арифметические истины.
Может показаться, что это не имеет особого значения, поскольку мы редко хотим доказать арифметические факты – если вообще этого хотим; мы просто считаем арифметику чем-то само собой разумеющимся, без всяких доказательств. Но можно разработать системы арифметических аксиом, сходные с евклидовой (например, аксиомы Пеано), и доказать такие элементарные истины, как «2 + 2 = 4», такие очевидные промежуточные истины, как «числа, без остатка делящиеся на 10, также без остатка делятся на 2», и такие неочевидные истины, как «не существует самого большого простого числа». Прежде чем Гёдель разработал свое доказательство, математики и логики повсеместно рассматривали выведение всех математических истин из единственного набора аксиом как великий проект, осуществить который трудно, но возможно; для математиков той эпохи то была высадка на Луну или проект изучения генома человека. Но сделать это совершенно невозможно. Именно это утверждает теорема Гёделя.
Итак, какое отношение это имеет к искусственному интеллекту или эволюции? Гёдель доказал свою теорему за несколько лет до изобретения электронного компьютера, но затем появился Алан Тьюринг и распространил выводы из этой абстрактной теоремы, показав, что, по сути дела, любая формальная процедура доказательства, соответствующая процедуре, описываемой теоремой Гёделя, эквивалентна компьютерной программе. Гёдель нашел способ расставить все возможные системы аксиом в алфавитном порядке. Фактически, все они могут быть расставлены в Вавилонской библиотеке, а затем Тьюринг показал, что этот набор был подразделом другого раздела в Вавилонской библиотеке: раздела всех возможных компьютеров. Неважно, из чего вы собираете компьютер; важно то, какой алгоритм он воспроизводит; и, поскольку любой алгоритм имеет конечное число шагов, можно разработать единообразный язык для уникального описания каждого алгоритма и размещения всех спецификаций в «алфавитном порядке». Тьюринг разработал именно такую систему, и в ней каждый компьютер – от вашего ноутбука до величайшего из всех параллельных суперкомпьютеров, которые когда-либо будут построены, – имеет уникальное описание, как то, что мы сегодня называем машиной Тьюринга. Каждой из машин Тьюринга можно присвоить уникальный номер – если хотите, ее шифр в Вавилонской библиотеке. Затем теорему Гёделя можно истолковать так, чтобы из нее следовало, что у каждой из тех машин Тьюринга, которые являются внутренне непротиворечивыми алгоритмами доказательства арифметических истин (и, неудивительно, что это – Чрезвычайно обширный, но притом Исчезающе малый подраздел множества всех возможных машин Тьюринга), есть связанное с нею предложение Гёделя – арифметическая истина, которую она не может доказать. Итак, вот что говорит нам Гёдель, которого Тьюринг приковал к миру компьютеров: у каждого компьютера, являющегося внутренне непротиворечивым механизмом доказательства арифметических истин, есть ахиллесова пята, истина, которую он никогда не сможет доказать, даже если будет работать до Судного дня. Ну и что с того?
Сам Гёдель считал, что из его теоремы следует, что в этом случае люди (по крайней мере, люди-математики) не могут быть просто машинами, поскольку способны на то, что машины сделать не могут. Точнее, по крайней мере какая-то часть человеческого существа не может быть всего лишь машиной и даже большой системой приборов. Если сердце – насос, легкие – воздухообменники, а мозг – компьютер, то разум математика, полагал Гёдель, не может быть лишь его мозгом, поскольку разум математика способен на то, что недоступно простой вычислительной машине.
На что же такое он способен? Это – проблема определения подвига для большой эмпирической проверки. Соблазнительно думать, что мы уже видели пример: он способен на то, что делали вы, поднимая взгляд на доску в классе, где занимались геометрией – используя нечто вроде «интуиции», или «суждения», или «чистого понимания», он может просто увидеть, что определенные арифметические положения истинны. Идея состоит в том, что ему не нужно полагаться на презренные алгоритмы, чтобы производить собственное математическое знание, поскольку у него есть талант «схватывать» математические истины, в сравнении с которым алгоритмические процессы совершенно меркнут. Вспомните, что алгоритм – это рецепт, которому может следовать услужливый болван: понимания он не требует. Умные математики, напротив, по-видимому, способны использовать свое понимание, чтобы выйти за пределы доступного математическим болванам. Но хотя складывается впечатление, что так думал сам Гёдель, и, хотя описанное, несомненно, отражает распространенную и популярную интерпретацию выводов из теоремы Гёделя, доказать это гораздо сложнее, чем кажется на первый взгляд. Как, например, отличить случай, когда кто-то (или что-то) «схватывает истину» математического предложения, от случая, когда кто-то (или что-то) просто наобум высказывает удачную догадку? Можно научить попугая кричать «правда» и «ложь», когда перед ним на доске пишут разные знаки; как часто попугай должен угадать правильно, чтобы у нас появились основания думать, что у него все-таки есть нематериальный разум (или, возможно, что перед нами просто математик-человек, переодетый попугаем)?754
Эта проблема всегда была камнем преткновения для тех, кто желал использовать теорему Гёделя, чтобы доказать, будто наш разум – это небесный крюк, а не какой-то там старый и скучный подъемный кран. Если сказать, что, в отличие от машин, люди-математики могут доказать любые арифметические истины, то это делу не поможет, ибо если под «доказательством» мы имеем в виду то же, что и Гёдель в своем доказательстве, то Гёдель показал, что люди (или ангелы, если бы они существовали) на это тоже не способны755; формального доказательства гёделевского предложения внутри системы, к которой оно принадлежит, не существует. Знаменитую раннюю попытку применения теоремы Гёделя предпринял философ Дж. Р. Лукас756, решивший определить ключевой подвиг как способность «произвести как верное» определенное предложение – то или иное гёделевское предложение. Однако это определение приводит к неразрешимой проблеме интерпретации, разрушая «подобную мечу в камне» определенность эмпирической стороны аргумента757. Мы можем лучше понять проблему, рассмотрев несколько сходных «подвигов», реальных и воображаемых.
В 1637 году Рене Декарт задался вопросом о том, как можно отличить настоящего человека от машины, и придумал «два верных средства»:
Во-первых, такая машина никогда не могла бы пользоваться словами или другими знаками, сочетая их так, как это делаем мы, чтобы сообщать другим свои мысли. Можно, конечно, представить себе, что машина сделана так, что произносит слова, и некоторые из них – даже в связи с телесным воздействием, вызывающим то или иное изменение в ее органах, как, например, если тронуть ее в каком-нибудь месте, и она спросит, что от нее хотят, тронуть в другом – закричит, что ей больно, и т. п. Но никак нельзя себе представить, что она расположит слова различным образом, чтобы ответить на сказанное в ее присутствии, на что, однако, способны даже самые тупые люди. Во-вторых, хотя такая машина многое могла бы сделать так же хорошо и, возможно, лучше, чем мы, в другом она непременно оказалась бы несостоятельной, и обнаружилось бы, что она действует не сознательно, а лишь благодаря расположению своих органов. Ибо в то время как разум – универсальное орудие, могущее служить при самых разных обстоятельствах, органы машины нуждаются в особом расположении для каждого отдельного действия. Отсюда немыслимо, чтобы в машине было столько различных расположений, чтобы она могла действовать во всех случаях жизни так, как нас заставляет действовать наш разум758.
В 1950 году Алан Тьюринг задался тем же вопросом и придумал в точности то же решающее испытание (описанное несколько строже), названное им игрой в имитацию; мы же теперь зовем его тестом Тьюринга. Поместите двух соперников – человека и компьютер – в коробки (или еще каким-нибудь образом изолируйте их) и побеседуйте с каждым; если компьютер сможет убедить вас в том, что он – человек, то он побеждает в игре в имитацию. Однако вердикт Тьюринга в корне отличался от того, что вынес Декарт:
Уверен, что приблизительно через пятьдесят лет можно будет запрограммировать компьютеры с объемом памяти около 109 так, чтобы они были настолько хороши в игре в имитацию, что после пяти минут расспросов заурядный собеседник мог определить, является ли машиной второй участник разговора, с вероятностью не больше 70%. Изначальный вопрос («Могут ли машины мыслить?») кажется мне слишком бессмысленным, чтобы его обсуждать. Тем не менее я убежден, что к концу века словоупотребление и общее просвещенное мнение изменится так сильно, что можно будет говорить о машинном мышлении, не ожидая возражений759.
Последнее пророчество Тьюринга уже оказалось верным: «значение слов и общее просвещенное мнение» уже «изменилось так сильно», что можно, «в принципе», говорить о машинном мышлении, не ожидая возражений. Декарт находил «немыслимым» понятие мыслящей машины, и даже если, как сегодня думают многие, никакая машина никогда не сможет пройти тест Тьюринга, практически все наши современники согласятся, что ничего немыслимого в этой идее нет.
Возможно, этому кардинальному изменению распространенных представлений способствовали успехи компьютера в иных областях – например, в игре в шашки и шахматы. В выступлении 1957 года Герберт Саймон760 предсказал, что меньше чем через десять лет компьютер станет чемпионом мира по шахматам, – как выясняется, то был классический случай излишнего оптимизма. Через несколько лет философ Хьюберт Дрейфус761 предсказал, что ни один компьютер никогда не станет хорошим шахматистом, поскольку для игры в шахматы нужно «озарение», но вскоре компьютерная программа с разгромным счетом обыграла в шахматы его самого, что весьма повеселило исследователей искусственного интеллекта. За программой Арта Сэмюэля для игры в шашки последовали буквально сотни программ для игры в шахматы, ныне сражающиеся на турнирах как с людьми, так и с другими компьютерами, и, вероятно, вскоре они смогут побить лучшего в мире шахматиста.
Но является ли игра в шахматы подходящим «мечом в камне»? Некогда Дрейфус мог так думать, и у него есть выдающийся предшественник – Эдгар Аллан По, ни больше ни меньше, – который был на этот счет так уверен, что разоблачил один из величайших обманов XIX века, шахматный «автоматон» фон Кемпелена. В XVIII столетии великий Вокансон создавал механические чудеса, завораживавшие знать и других состоятельных покупателей, поскольку механизмы эти вели себя так, что и ныне дают пищу скептикам. Могла ли заводная утка Вокансона на самом деле делать то, что о ней сообщают? «Когда перед ней бросали зерно, утка вытягивала шею, склевывала его, проглатывала и переваривала»762. Другие искусные мастера и аферисты пошли по следам Вокансона, доведя искусство создания механических симулякров до таких высот, что в 1769 году один из них, барон фон Кемпелен, смог злоупотребить всеобщим восхищением, которое вызывали подобные приборы, намерено создав подделку: якобы автоматон, который мог играть в шахматы.
Изначально созданная фон Кемпеленом машина попала в руки Иоганну Непомуку Мельцелю763, который ее усовершенствовал и переделал, а затем, в начале XIX века, произвел фурор, представив публике Шахматный аппарат Мельцеля; он никогда не утверждал, что его изобретение – всего лишь машина, и окружал выступление (за которое просил круглую сумму) достаточным количеством обычной магической показухи, чтобы в любом возбудить подозрения. Несомненно механическая, фигура индийца-свами сидела перед шахматным столиком подозрительной конструкции – без ножек, но с дверцами и ящиками, которые открывались друг за другом (но никогда – все вместе), чтобы публика могла «увидеть», что внутри нет ничего, кроме механизмов. Затем кукла-свами принималась играть в шахматы, беря и передвигая фигуры на доске в ответ на действия соперника-человека, – и, как правило, она выигрывала! Но сидел ли внутри машины гомункул в буквальном смысле слова – крошечный человечек, выполнявший всю работу, требовавшую разумных действий? Если искусственный интеллект возможен, то столик мог содержать тот или иной набор подъемных кранов и иных механических приспособлений. Если искусственный интеллект невозможен, то там должен был скрываться небесный крюк – Разум, притворяющийся Машиной.
По был абсолютно убежден, что в машине Мельцеля сидел человек, и его хитроумное расследование подтвердило эти подозрения, подробно и с приличествующим случаю торжеством победителя описанные в статье, опубликованной в Southern Literary Messenger764. По меньшей мере столь же интересными, как и рассуждения о том, как именно был осуществлен обман, были его соображения о том, почему это должен был быть обман, высказанные в письме, сопровождавшем публикацию статьи; здесь он вторит «доказательству» Джона Локка (рассмотренному в первой главе):
Мы никогда и ни на мгновение не соглашались с господствующим представлением, будто господин Мельцель не прибегал к помощи человека. Не может быть сомнений в том, что некий человек помогал ему – разве что можно убедительно доказать, что человек способен наделять материю интеллектом: ибо разум для игры в шахматы не менее необходим, чем для следования по цепи абстрактных рассуждений. Мы рекомендуем тем, чья доверчивость в данном случае была пленена убедительным спектаклем, и всем людям, легковерны они или нет, восхищающимся хитроумным ходом индуктивного доказательства, внимательно прочитать эту статью: все вместе и каждый в отдельности по ее прочтении должны убедиться, что простая машина не может проявить интеллект, потребный для участия в этой сложной игре…765
Ил. 43. Шахматный автоматон фон Кемпелена
Мы знаем, что, сколь бы убедительным ни был ранее этот довод, Дарвин перебил ему спину, и частный вывод, который По делает относительно игры в шахматы, был решительно опровергнут поколением творцов, последовавших по стопам Арта Сэмюэля. Но что же испытание Декарта, известное сегодня как тест Тьюринга? О нем спорили с того момента, как Тьюринг описал удобную и практичную его версию; последовал даже ряд настоящих, хотя и ограниченных соревнований, подтвердивших то, что уже знали все, кто как следует поразмыслил о тесте Тьюринга766: обмануть наивных судей до неприличия легко, а обмануть экспертов – неимоверно сложно; дело снова свелось к тому, что для однозначного решения вопроса нет подходящего «меча в камне». Умение поддерживать разговор или выигрывать в шахматы в качестве «подвига» не подходит: первое – потому, что результат его будет неоднозначным, несмотря на исключительную трудность достижения этого результата, а второе – потому, что это все-таки оказалось под силу машине. Могут ли следствия из теоремы Гёделя обеспечить более подходящее состязание? Предположим, что мы поместили математика в ящик А, а компьютер – любой компьютер на ваш выбор – в ящик B и задаем им вопросы об истинности и ложности арифметических предложений. Позволит ли такая проверка с уверенностью разоблачить машину? Проблема в том, что математики-люди допускают ошибки, и теорема Гёделя не выносит никакого вердикта относительно вероятности, не говоря уже о невозможности, не-вполне-совершенного выявления истины алгоритмом. Итак, кажется, что не существует какого-либо беспристрастного арифметического метода проверки, который можно было бы применить к нашим ящикам и четко отличить человека от машины.
Считается, что эта трудность систематически препятствует выдвижению любого аргумента о невозможности искусственного интеллекта от теоремы Гёделя. Несомненно, любому, кто работает в этой области, всегда было известно о теореме Гёделя – и все безмятежно продолжали свои труды. Строго говоря, классическую книгу Хофштадтера «Гёдель Эшер Бах»767 можно прочитать как свидетельство того, что Гёдель является нечаянным защитником искусственного интеллекта: он высказал существенные догадки о том, какие дороги ведут к сильному искусственному интеллекту, а не продемонстрировал тщетность предприятия. Но Роджер Пенроуз, Роузболловский профессор математики в Оксфордском университете и один из ведущих мировых специалистов в области математической физики, думает иначе. Брошенный им вызов следует принять всерьез, даже если (как убежден я и другие сторонники искусственного интеллекта) он допускает элементарную ошибку. Когда появилась книга Пенроуза, я указал на проблему в рецензии: его доказательство в высшей степени сложно и переполнено физическими и математическими подробностями,
…и маловероятно, чтобы такое предприятие погибло из‐за одной-единственной роковой оплошности своего создателя – чтобы доказательство можно было опровергнуть простым наблюдением. Поэтому я с недоверием отношусь к своему наблюдению, что Пенроуз, кажется, допустил совершенно элементарную ошибку в самом начале и, во всяком случае, не может заметить, казалось бы, очевидную претензию или ответить на нее768.
Мое удивление и недоверие вскоре нашло подтверждение: сначала у традиционных комментаторов статьи Пенроуза в Behavioral and Brain Sciences (написанной на основе его книги), а затем и у самого Пенроуза. В статье «Неалгоритмический разум»769, где Пенроуз отвечает критикам, он выразил легкое недоумение по поводу сильных выражений, к которым те прибегали: «довольно-таки ошибочно», «некорректно», «роковой изъян» и «необъяснимая ошибка», «необоснованно», «глубоко неверно». Неудивительно, что сообщество исследователей искусственного интеллекта единодушно отмело доказательство Пенроуза, но, с точки зрения последнего, они не пришли к согласию о том, в чем именно заключался тот самый роковой изъян. Это само по себе показывало, как сильно он промахнулся, ибо критики нашли множество различных способов атаковать одну и ту же существенную ошибку в понимании самой природы искусственного интеллекта и использования им алгоритмов.
2. Библиотека «Тошиба»
Однако эта книга, вероятно, больше всего понравится тем, кто ее не поймет. Как специалист в области эволюционной биологии, за долгие годы я осознал, что большинству людей не хочется считать себя неуклюжими роботами, запрограммированными на сохранение своих генов. Не думаю, что им захотелось бы считать себя цифровыми компьютерами. Им будет весьма приятно услышать от человека с безупречной научной репутацией, что они не являются ни тем ни другим.
Рассмотрим набор всех машин Тьюринга – иными словами, набор всех возможных алгоритмов. Или, скорее, чтобы упростить задачу, стоящую перед вашим воображением, представьте себе вместо этого Чрезвычайно большой, но конечный подраздел множества таких машин, объединенный конкретным общим языком и состоящий из «томов» определенной длины: набор всех возможных последовательностей 0 и 1 (последовательностей байтов) длиной до одного мегабайта (восемь миллионов нолей и единиц). Пусть эти последовательности читает мой старый портативный компьютер, «Тошиба T-1200», с его двадцатимегабитным жестким диском (чтобы установить прочные границы, наложим запрет на использование дополнительной памяти). Не следует удивляться тому, что Чрезвычайно значительное большинство этих последовательностей байтов не делает ничего, достойного упоминания, если попытаться запустить их на «Тошиба» в качестве программ. Программы все-таки не случайные последовательности байтов, но их тщательно спланированные очередности, результат тысяч часов проектно-конструкторской работы. Самая сложная из всех возможных программ все равно может быть представлена как та или иная последовательность нолей и единиц, и хотя мой старый «Тошиба» слишком мал, чтобы запустить на нем некоторые из по-настоящему огромных ныне существующих программ, он вполне способен проигрывать их большой и репрезентативный подраздел: текстовые редакторы, электронные таблицы, программы для игры в шахматы, симуляторы Искусственной жизни, логические системы автоматического доказательства теорем и, да, даже некоторые автоматические программы проверки арифметических истин. Назовем все такие программы, которые можно запустить на портативном компьютере «Тошиба», существующие в действительности и воображаемые, интересными программами (это подмножество примерно аналогично подмножеству книг, которые можно прочитать, в Вавилонской библиотеке или жизнеспособным генотипам из Библиотеки Менделя). Не стоит беспокоиться о границе, отделяющей интересное от неинтересного; смело отбрасываем все сомнительное. Как бы мы ни принимали решения, в Библиотеке «Тошиба» есть Чрезвычайно много интересных программ, но их Чрезвычайно сложно «отыскать» – вот почему компании-разработчики программного обеспечения дали миру порядочное число миллионеров.
Итак, каждая последовательность байтов длиною в мегабит является в некотором смысле (том, который важен для нас) алгоритмом: это глупый или мудрый рецепт, которым может руководствоваться механизм, мой «Тошиба». Если мы будем случайным образом проверять последовательности байтов, большую часть времени «Тошиба» станет просто тихо гудеть (даже не мигая янтарно-желтой лампочкой); пользуясь словами Докинза, способов быть мертвой программой гораздо больше, чем живой. Лишь Исчезающе малое подмножество этих алгоритмов является хоть в каком-то отношении интересным, и лишь Исчезающе малая часть этого подмножества хоть как-то связана с арифметическими истинами, и лишь Исчезающе малая часть этих алгоритмов пытается выработать формальные доказательства арифметических истин, и лишь Исчезающе малая часть их внутренне непротиворечива. Гёдель показывает, что в этом подмножестве (все еще содержащем Чрезвычайно много алгоритмов даже для моего малютки-«Тошиба») не существует ни одного алгоритма, способного выработать доказательства всех арифметических истин.
Но теорема Гёделя совершенно ничего не говорит нам о каком-либо ином алгоритме в Библиотеке «Тошиба». Она не говорит нам, есть ли там какие-то алгоритмы, способные прилично играть в шахматы. Таких алгоритмов на самом деле Чрезвычайно много: несколько существующих в действительности работают на моем собственном «Тошиба», и мне не удалось обыграть ни один из них! Теорема не говорит нам, существуют ли алгоритмы, которые вполне успешно проходят тест Тьюринга или играют в имитацию. На самом деле на мой «Тошиба» установлена такая программа – упрощенная версия знаменитой программы Джозефа Вейценбаума ELIZA, – и я видел, как она обводила вокруг пальца непосвященных, заставляя их, подобно Эдгару Аллану По, поверить, что отвечать им должен был человек. Поначалу я недоумевал, как хоть сколько-нибудь разумный человек может подумать, будто в моем портативном «Тошиба», поставленном на журнальный столик и ни к чему не подключенном, сидит крошечный паренек, но я позабыл, как предприимчив может быть в чем-либо убежденный разум; в моем «Тошиба» – заключали эти хитроумные скептики – должен быть спрятан сотовый телефон.
В частности, теорема Гёделя ничего не может сообщить нам о том, могут ли в Библиотеке «Тошиба» содержаться алгоритмы, способные со впечатляющей эффективностью «вырабатывать как истинные» или «определять как истинные или ложные» определенные арифметические предложения. Если математики-люди могут со впечатляющей эффективностью «просто видеть» при помощи «математической интуиции», что определенные положения истинны, то, возможно, компьютер может имитировать этот талант так же, как он может имитировать игру в шахматы и непринужденную беседу: несовершенно, но впечатляюще. Именно в этом и убеждены специалисты в области искусственного интеллекта: существуют ненадежные, эвристические алгоритмы для общего воспроизведения деятельности человеческого разума, как есть алгоритмы, позволяющие машинам хорошо играть в шашки, шахматы и решать множество других задач. И именно тут Пенроуз и допустил свою грубую ошибку: он проигнорировал этот набор возможных алгоритмов – единственный набор алгоритмов, когда-либо интересовавших разработчиков искусственного интеллекта, – сконцентрировавшись на том наборе алгоритмов, о которых теорема Гёделя нам и в самом деле что-то сообщает.
Математики – говорит Пенроуз – используют «математическую интуицию», чтобы увидеть, что из корректности определенной системы следуют определенные положения. Затем он некоторое время рассуждает, что «для» математической интуиции не может быть алгоритма (или, по крайней мере, алгоритма, осуществимого на практике). Но, озаботившись этим, он упускает возможность того, что некий алгоритм (на самом деле, множество разных алгоритмов) может быть источником математической интуиции, несмотря даже на то, что созданы он был «не для этого». Мы можем ясно увидеть эту ошибку на примере параллельного рассуждения.
Шахматы – игра конечная (поскольку есть правила, позволяющие закончить партию, которая ни к чему не ведет, – например, объявление ничьей). Это значит, что, в принципе, существует алгоритм, определяющий, как закончить любую партию победой или ничьей – понятия не имею, чем именно. По сути дела, я могу определить этот алгоритм для вас довольно просто: 1) нарисуйте все древо решений для всех возможных партий в шахматы (Чрезвычайно большое, но конечное число); 2) отправляйтесь к моменту окончания каждой игры; то будет либо победа белых или черных, либо ничья; 3) «раскрасьте» этот момент черным, белым или серым в зависимости от исхода игры; 4) отправляйтесь назад, делая один полный шаг за раз (один ход белых и один ход черных); если на предшествующем шаге все пути от любого из ходов белых вели через все ответные ходы черных к белому исходу игры, то закрасьте узел, отражающий текущий момент, белым и снова сделайте шаг назад, и т. д.; 5) сделайте то же для любых путей развития игры, обеспечивающих победу черных; 6) все остальные узловые моменты закрасьте серым. В конце концов (куда позже, чем Вселенная отправится на покой) вы раскрасите все узловые моменты на древе всех возможных шахматных партий вплоть до самого первого хода белых. Теперь пришло время поиграть. Если какой-нибудь из двадцати допускаемых правилами ходов раскрашен белым – сделайте его! Впереди – гарантированная победа, достичь которой можно, всего лишь всегда выбирая белые узлы. Разумеется, остерегайтесь любых черных ходов, ибо это позволит вашему противнику гарантированно поставить вам шах и мат. Если доступных белых ходов нет – выбирайте серые и надейтесь, что позднее в какой-то момент игры у вас появится возможность сделать белый ход. В худшем случае вас ожидает ничья. (Если все доступные белым ходы закрашены черным, что весьма маловероятно, то единственный ваш шанс – пойти наобум в надежде, что впоследствии ваш играющий черными противник допустит оплошность и позволит вам ускользнуть, избрав белый или серый путь.)
Ясно, что это – алгоритм. Ни один из шагов в данном рецепте не требует какой-либо прозорливости, и я выразил его в конечной форме и недвусмысленно. Проблема в том, что алгоритм этот совершенно невыполним и непрактичен, ибо древо, которое он тщательнейшим образом обыскивает, Чрезвычайно велико. Но, полагаю, приятно знать, что, в принципе, существует алгоритм, позволяющий в совершенстве играть в шахматы – как бы бесполезен он ни был. Для той же цели может существовать осуществимый на практике алгоритм. Его еще никто не обнаружил – и слава Богу, ибо это превратило бы шахматы в игру немногим интереснее крестиков-ноликов. Никто не знает, существует ли такой осуществимый на практике алгоритм, но, по общему мнению, это весьма маловероятно. Не зная этого наверняка, выберем предположение, наименее благоприятное для искусственного интеллекта. Предположим, что не существует никакого осуществимого на практике алгоритма, обеспечивающего победу в шахматах или ничью.
Следует ли из этого, что ни один из алгоритмов на моем «Тошиба» не может победить в шахматах? Вовсе нет! Я уже признался, что алгоритмы для игры в шахматы на моем компьютере непобедимы, когда речь идет об игре против одного соперника-человека – против меня. Я не очень хороший шахматист, но, полагаю, наделен «интуицией» не в меньшей мере, чем любой случайный прохожий. Однажды я, быть может, одержу победу над своей машиной – если буду много практиковаться и упорно работать, – но программы на моем «Тошиба» элементарны в сравнении с современными шахматными программами-чемпионами. Если говорить о них, то вы можете смело жизнью поклясться, что они каждый раз будут одерживать верх надо мной (хотя и не над Бобби Фишером). Никому не советую и в самом деле ставить жизнь на кон в споре о сравнительном совершенстве этих алгоритмов – я могу улучшить свои результаты, и мне вовсе не нужна ваша жизнь на моей совести, – но, на самом деле, если дарвинизм верен, то вы и ваши предки не проиграли ни одной столь же рискованной ставки, сделанной на алгоритмы, встроенные в «механизмы» вашего тела. Именно это и делают организмы каждый день с момента зарождения жизни: они клянутся головой, что алгоритмы, создавшие их и (если они входят в число организмов-счастливчиков, обладающих мозгом) действующие внутри них, будут поддерживать их жизнь достаточно долго для того, чтобы они обзавелись потомством. Мать-Природа никогда не стремилась к абсолютной уверенности; ей вполне достаточно высоких шансов. А потому мы склонны ожидать, что, если мозг математиков проигрывает алгоритмы, то это будут алгоритмы, которые вполне успешно отличают истинное от неверного, не будучи при этом абсолютно надежными.
Как и все алгоритмы, алгоритмы для игры в шахматы на моем «Тошиба» приводят к гарантированным результатам; но это не значит, что они обязательно поставят мне шах и мат: они всего лишь будут играть в шахматы по правилам. Это – все, для чего они «предназначены». Из Чрезвычайно большого числа алгоритмов, гарантированно играющих в шахматы в соответствии с правилами, одни будут лучше других, хотя ни про один нельзя сказать, что он гарантированно выиграет у другого, – по крайней мере, это не то, что можно было бы надеяться доказать математически, даже если грубые математические факты таковы, что исходное состояние программы x и программы y было таково, что x победила бы y в любой возможной между ними партии. Это означает, что следующее доказательство ошибочно:
x превосходно выигрывает в шахматы;
не существует (осуществимого на практике) алгоритма, обеспечивающего победу в шахматах;
следовательно: талант x невозможно объяснить тем, что x проигрывает алгоритм.
Очевидно, что вывод неверен: уровень алгоритмов – это именно тот уровень, на котором можно объяснить, почему мой «Тошиба» побеждает меня в шахматах. Дело не в том, что его питает какое-то особенно мощное электричество или что в его пластиковом корпусе таится секретный резервуар élan vital. Его превосходство над другими компьютерами, играющими в шахматы (я могу победить совсем простые), обеспечивает более совершенный алгоритм.
Тогда какого рода алгоритмы задействуют математики? Алгоритмы «для» того, чтобы попытаться выжить. Как мы видели в своих рассуждениях об обеспечивающих выживание роботах в предыдущей главе, такие алгоритмы должны быть способны к бесконечно изобретательной проницательности и планированию; они должны бы были успешно опознавать пищу и убежище, отличать друга от врага, учиться опознавать предвестников весны как предвестников весны, отличать веские доводы от пустых и даже – как своего рода дополнительный побочный талант – опознавать математические истины как математические истины. Разумеется, такие «дарвиновские алгоритмы»771 не были спроектированы лишь для этой особой цели – не более, чем наши глаза были спроектированы для того, чтобы отличать курсив от жирного шрифта, но это не означает, что они не обладают превосходной чувствительностью к подобным различиям, если представится случай их рассмотреть.
Итак, как мог Пенроуз упустить эту, как нам сейчас кажется, очевидную возможность? Он – математик, а математики в первую очередь заинтересованы в том Исчезающе малом подмножестве алгоритмов, которые, как они могут математически доказать, обладают интересными математическими свойствами. Я называю это созерцанием алгоритмов с точки зрения Бога. Такая позиция аналогична рассмотрению с той же точки зрения томов в Вавилонской библиотеке. Можно «доказать» (в чем бы ни заключалась польза такого доказательства), что в Вавилонской библиотеке есть один том, где в точном алфавитном порядке перечисляются все телефонные номера абонентов Нью-Йорка, чье состояние на 10 января 1994 года составляло больше миллиона долларов. Так должно быть – в Нью-Йорке не может быть настолько много абонентов-миллионеров, а потому один из возможных томов библиотеки должен содержать их полный список. Но найти – или написать – такую книгу будет сложнейшей эмпирической задачей, чреватой множеством неопределенностей и спорных решений, даже если мы просто рассмотрим список в ней как подмножество имен, уже напечатанных в существующей в реальности телефонной книге, содержащей актуальную на 10 января 1994 года информацию (и проигнорируем те, чьи номера в ней не указаны). Хотя мы и не можем взять такую книгу в руки, можно дать ей название – так же как мы титуловали Митохондриальную Еву. Озаглавим ее Мегатом. И мы можем доказывать истинность высказываний в отношении Мегатома: например, первая буква на странице, где есть шрифт, – буква «А», но первая буква на последней странице со шрифтом – не «А». (Разумеется, это не вполне соответствует требованиям математического доказательства, но каковы шансы на то, что ни у одного телефонного абонента, чья фамилия начинается на «А», нет миллиона или что во всем Нью-Йорке таких миллионеров наберется лишь на одну страницу?)
Как я отмечал на с. 66, математики обычно думают об алгоритмах с точки зрения Бога. Например, они заинтересованы в том, чтобы доказать, что существует некий алгоритм с каким-то интересным свойством или что такого алгоритма нет, и чтобы доказать это, не нужно на самом деле искать алгоритм, о котором вы говорите, – скажем, вытаскивая его из груды алгоритмов, записанных на дискетах. Наша неспособность найти Митохондриальную Еву (ее останки) также не мешает нам с помощью дедукции что-то о ней узнавать. Таким образом, эмпирическая проблема отождествления в таких формальных умозаключениях встает нечасто. Теорема Гёделя говорит нам, что ни один из алгоритмов, которые можно проиграть на моем «Тошиба» (или любом ином компьютере), не обладает определенным математически интересным качеством: быть внутренне непротиворечивым производителем доказательств арифметических фактов, который (при условии наличия достаточного времени) производит их все.
Интересный факт, но помощи от него мало. Можно математически доказать множество интересных фактов о каждом из представителей разнообразных наборов алгоритмов. Применение этих знаний в реальном мире – совсем иное дело, и это-то и есть слепое пятно, из‐за которого Пенроуз совершенно упустил искусственный интеллект из виду вместо того, чтобы, как он рассчитывал, опровергнуть идею о нем. Это вполне очевидно из последовавших позднее, в ответ на замечания критиков, попыток переформулировать тезис.
Если взять любой конкретный алгоритм, то этот алгоритм не может быть той самой процедурой, в результате которой люди-математики устанавливают математическую истину. Следовательно, люди вовсе не используют алгоритмы для установления истины772.
Для установления математической истины люди-математики не используют алгоритм, корректность которого логически доказуема773.
В более позднем ответе критикам Пенроуз рассматривает и закрывает различные «лазейки», две из которых нам особенно интересны: математики могут прибегать к «ужасно сложному непостижимому алгоритму X» или «некорректному (но, предположительно, почти корректному) алгоритму Y». Пенроуз описывает эти лазейки так, будто бы это ответы ad hoc на вызов, брошенный теоремой Гёделя, а не стандартные рабочие допущения при работе с искусственным интеллектом. О первой он заявляет:
Складывается впечатление, что это совершенно не согласуется с тем, что, по-видимому, на самом деле делают математики, когда формулируют свои доказательства в терминах, которые (по крайней мере, в принципе) можно разбить на утверждения «очевидные» и не встречающие никаких возражений. Я бы посчитал в высшей степени надуманным убеждение, что за всем нашим математическим пониманием и в самом деле таится ужасный и непостижимый Х, а не те простые и очевидные ингредиенты (курсив мой. — Д. Д.)774.
Все мы и в самом деле применяем эти «ингредиенты», на первый взгляд, не алгоритмически, но этот феноменологический факт вводит в заблуждение. Пенроуз тщательно обсуждает вопрос, что значит быть математиком, но упускает возможность (более того, вероятность), известную специалистам в области искусственного интеллекта: возможность того, что фундаментом нашей способности обращаться с этими «ингредиентами» является эвристическая программа умопомрачительной сложности. Такой замысловатый алгоритм будет почти соответствовать способностям того, кто способен в совершенстве понимать увиденное, будучи «незаметным» для того, к чьей пользе служит. Каждый раз, когда мы заявляем, что решили какую-то задачу «интуитивно», на самом деле это значит лишь, что мы не знаем, как ее решили. Простейший способ смоделировать «интуицию» на компьютере – просто закрыть компьютерной программе любой доступ к ее собственным внутренним процессам. Каждый раз, как программа решит задачу, и вы спросите ее, как она это сделала, ей придется отвечать: «Не знаю; просто интуитивно»775.
Затем Пенроуз закрывает вторую лазейку (некорректный алгоритм), заявляя: «Математикам нужна определенная строгость, делающая такие эвристические доказательства неприемлемыми; следовательно, никакая подобная известная процедура этого типа не может быть способом, которым на самом деле действуют математики»776. Это ошибка поинтереснее, ибо вместе с ней появляется перспектива, что для проведения решающего эмпирического теста «в ящик» нужно будет сажать не одного математика, а все математическое сообщество! Пенроуз осознает теоретическую важность дополнительного могущества, которое люди-математики получают, объединяя свои ресурсы, общаясь друг с другом и в результате становясь своего рода единым гигантским разумом – гораздо более надежным, чем любой гомункул, которого мы могли бы посадить в коробку. Дело не в том, что у математиков мозги устроены лучше, чем у остальных людей (или шимпанзе), но в том, что они располагают орудиями мысли – социальными институтами, в рамках которых они знакомят друг друга со своими доказательствами, проверяют друг друга, публично допускают ошибки и затем рассчитывают на то, что научное сообщество эти ошибки исправит. Так математическое сообщество и в самом деле обретает способность распознавать математические истины, намного превосходящую возможности любого отдельного человеческого мозга (даже отдельного мозга, вооруженного бумагой и карандашом, карманным калькулятором или портативным компьютером!). Но это не доказывает, что человеческий разум не является алгоритмическим прибором; напротив, это показывает, как подъемные краны культуры могут использовать человеческий мозг в распределении алгоритмических процессов, для которых нет четко обозначенных ограничений.
Пенроуз понимает это несколько иначе. Он продолжает рассуждение, говоря, что «именно наша общая (неалгоритмическая) способность понимать» обеспечивает наши математические способности, и заключает: «Естественный отбор поддерживает в Человеке (по меньшей мере) не алгоритм x, но эту удивительную способность понимания!»777 Здесь он допускает оплошность, которую я только что проиллюстрировал примером с шахматами. Пенроуз хочет сказать:
x способен понимать;
не существует осуществимого на практике алгоритма понимания;
следовательно: то, что обеспечивает понимание и что поддерживает естественный отбор, не является алгоритмом.
Этот вывод не следует из посылок. Если разум (в противоположность утверждению Пенроуза) является алгоритмом, то, конечно же, этот алгоритм не может опознаваться или быть доступным тем, чьи разумы он создает. Пользуясь словами Пенроуза, он непознаваем. Как продукт процесса биологического конструирования (как на генетическом, так и на индивидуальном уровне) это почти наверняка один из тех алгоритмов, которые расположены в том или ином месте Чрезвычайно обширного пространства интересных алгоритмов, полных опечаток и «багов», но достаточно надежных, чтобы вы могли (покамест) ручаться за них головой. Пенроуз считает эту возможность «надуманной», но если это его единственное возражение, то он пока что недостаточно близко знаком с лучшими из версий «сильного искусственного интеллекта».
3. Призрачный квантово-гравитационный компьютер: уроки из Лапландии
Я являюсь убежденным сторонником (теории) естественного отбора. Но я не понимаю, как естественный отбор сам по себе мог привести к рождению алгоритмов, позволяющих делать осознанные выводы касательно правомерности применения всех прочих алгоритмов, которыми мы должны, по идее, пользоваться.
Не думаю, что мозг возник дарвиновским путем. На самом деле это можно опровергнуть. Простые механизмы не могут создать мозг. Думаю, основные элементы, из которых построена Вселенная, просты. Жизненная сила – примитивный элемент Вселенной и подчиняется определенным законам действия. Эти законы не просты и не механистичны.
Когда Пенроуз настаивает, что мозг – это не машина Тьюринга, важно понимать, что именно он не говорит. Он не делает очевидное (и очевидно не относящееся к делу) заявление, что мозг не был эффективно смоделирован с помощью первоначального вымышленного прибора Тьюринга: крошечного устройства, установленного поверх бумажной ленты и проверяющего один квадратик ленты за раз. Никто никогда иначе и не думал. Сказанное им также не является всего лишь утверждением, что мозг – не компьютер последовательного действия, «машина фон Неймана», а скорее компьютер в высшей степени параллельного действия. И он не ограничивается всего лишь заявлением, что мозг, запуская свои алгоритмы, использует случайность и псевдослучайность. Он указывает (хотя не все это замечают), что алгоритмы, допускающие значительные дозы случайности, продолжают оставаться алгоритмами в сфере действия искусственного интеллекта, и все еще подпадают под ограничения, налагаемые теоремой Гёделя на все машины Тьюринга любого размера и формы780.
Более того, вслед за рецензентами его книги, Пенроуз теперь соглашается, что эвристические программы – тоже алгоритмы, и допускает, что, если он хочет доказать невозможность искусственного интеллекта, ему нужно признать их поразительную способность если не совершенным, то хотя бы впечатляющим образом находить арифметические и любые иные истины. Он предлагает следующее пояснение: любой компьютер, работающий во взаимодействии с внешним окружением, будет алгоритмическим компьютером, если само внешнее окружение является полностью алгоритмизированным. (Если бы небесные крючья росли, как поганки, – или, точнее, как взгромоздившиеся на поганки оракулы, – и компьютер получал помощь благодаря тому, что время от времени обращался бы к этим небесным крючьям, тогда то, что он делал бы, не было бы алгоритмом.)
Теперь, когда все полезные пояснения сделаны, спросим: какую позицию отстаивает Пенроуз? В мае 1993 года, во время семинара в Абиско, на шведской исследовательской станции в тундре далеко за Полярным кругом, мы с Пенроузом, несколькими шведскими физиками и другими учеными в течение недели обсуждали наши несовпадающие взгляды на эти предметы. Возможно, полярный день и наши шведские хозяева помогли осветить наш путь, но, в любом случае, думаю, мы оба вернулись оттуда просвещенными. Пенроуз провозглашает революцию в физике, ядром которой стала новая – и все еще не сформулированная – теория «квантовой гравитации», которая, как он надеется, объяснит, как человеческий мозг преодолевает ограничения алгоритмов. Считает ли Пенроуз человеческий мозг с его особыми квантовыми способностями небесным крюком или подъемным краном? Я отправился в Швецию за ответом на этот вопрос, и привезенный домой ответ таков: он, определенно, искал небесный крюк. Думаю, он удовлетворится новым краном – но сомневаюсь, что он его нашел.
Декарт и Локк, а в более поздние времена – Эдгар Аллан По, Курт Гёдель и Дж. Р. Лукас думали, что альтернативой «механическому» разуму будет разум нематериальный – или, если использовать традиционный термин, душа. Хьюберт Дрейфус и Джон Сёрль, наши современники, скептически относящиеся к идее искусственного интеллекта, сторонятся такого дуализма и высказывают мнение, что разум и в самом деле – лишь мозг, но мозг не является каким-то там обычным компьютером; у него есть «каузальные силы»781, намного превосходящие работу любых алгоритмов. Ни Дрейфус, ни Сёрль особо не распространялись о том, что это могут быть за особые силы, или какие физические науки подошли бы для их описания, но другие исследователи задаются вопросом, не физика ли это. Многим из них Пенроуз кажется рыцарем в сияющих доспехах.
Квантовая физика спешит на помощь! За последние годы было выдвинуто несколько разных предположений относительно того, как можно бы было применить квантовые эффекты, чтобы наделить мозг особыми свойствами помимо тех, которыми располагает любой обычный компьютер. Дж. Р. Лукас782 стремился завлечь квантовую физику на это поле битвы, но он думал, что постулируемые квантовой физикой разрывы каузального детерминизма позволили бы картезианскому духу вмешаться и, воздействуя на нейроны, добыть из мозга дополнительную силу разума, – тезис, который также энергично отстаивал нейрофизиолог сэр Джон Экклс, нобелевский лауреат, годами фраппировавший коллег своим откровенным дуализмом783. Сейчас не время и не место описывать причины, по которым не следует принимать этот дуализм всерьез, – время и место для этого было в более ранних работах784, – ибо Пенроуз сторонится дуализма столь же решительно, сколь и любой другой представитель лагеря материалистов. По сути дела, в его атаке на искусственный интеллект бодрящий эффект производит настойчивое заявление, что он надеется заменить его чем-то, что все еще будет физической наукой о разуме, а не некоей непроницаемой тайной, свершающейся в Нетландии дуализма.
Из недавних обсуждений «квантовых компьютеров» следует, что, не покидая сферу физики, мы могли бы получить некоторые странные новые способности, используя субатомные частицы785. Такой квантовый компьютер (как утверждают) до «коллапса волнового пакета» воспользовался бы «суперпозицией собственных состояний», чтобы за стандартные промежутки времени просканировать Чрезвычайно (да, Чрезвычайно) обширные поисковые пространства. Будучи своего рода суперкомпьютером в высшей степени параллельного действия, он мог бы делать Чрезвычайно многое «одновременно», и благодаря этому стали бы осуществимыми на практике целые классы алгоритмов, которые иначе нельзя было бы осуществить – например, алгоритм для совершенной игры в шахматы. Однако Пенроуз искал не это, ибо такие компьютеры, будь они даже возможны, все еще оставались бы машинами Тьюринга, а потому были бы способны вычислять лишь формально вычислимые функции – и алгоритмы786. Следовательно, они попали бы под ограничения, открытые Гёделем. Пенроуз стремится отыскать феномен, который был бы поистине невычислимым, а не всего лишь неудобным для вычисления.
Современная физика (в том числе современная квантовая физика) полностью поддается вычислениям – согласен Пенроуз – но он полагает, что мы могли бы совершить переворот в физике, введя однозначно невычислимую теорию «квантовой гравитации». Почему он считает, что такая теория (которую еще не сформулировал ни он, ни кто-либо другой) должна быть невычислимой? Потому что иначе искусственный интеллект оказывается возможным, а, по его мнению, с помощью аргумента от теоремы Гёделя он уже доказал, что искусственный интеллект невозможен. Вот и все. Пенроуз искренне признается, что ни одна из причин, по которой он верит в невычислимость теории квантовой гравитации, не относится к самой квантовой физике; единственная причина, по которой он думает, что теория квантовой гравитации будет невычислимой – то, что в противном случае искусственный интеллект все-таки возможен. Иными словами, Пенроуз подозревает, что однажды мы отыщем небесный крюк. Подозрение блестящего ученого – но он сам признается, что это всего лишь подозрение.
В рецензии на недавно вышедшую книгу физика Стивена Вайнберга «Мечты об окончательной теории» (Вайнберг, как вы помните из третьей главы, дважды похвалил редукционизм) Пенроуз размышляет так:
По моему мнению, если окончательная теория существует, то она может быть только схемой совершенно иной природы. Вместо того чтобы являться физической теорией в общепринятом смысле, ей пришлось бы быть, скорее, чем-то похожим на принцип – математический принцип, чье воплощение могло бы само потребовать немеханической утонченности (и, может быть, даже творческой способности)787.
Так что крайне скептическое отношение Пенроуза к дарвинизму неудивительно. И приводимые им причины знакомы: он не может себе представить, как «естественный отбор алгоритмов» может быть способен на такие успехи:
С тем, каким образом алгоритмы, предположительно, самосовершенствуются, есть серьезные проблемы. Это, определенно, не сработает с обычными характеристиками машины Тьюринга, поскольку «мутация» почти наверняка сделает машину совершенно бесполезной вместо того, чтобы лишь слегка ее изменить788.
Как представляется Пенроузу, большинство мутаций являются либо незаметными для селекции, либо фатальными; лишь очень немногие приводят к улучшениям. Это так, но это одинаково верно применительно как к эволюционному процессу, приведшему к появлению мандибул у крабов, так и к приведшему к появлению состояний сознания у математиков. Убеждение Пенроуза, будто эти «серьезные проблемы» существуют, подрывается (как и убеждение По) тем грубым историческим фактом, что генетические и родственные им алгоритмы ежедневно преодолевают эти устрашающие препятствия и совершенствуют себя, скажем так, скачкообразно (в масштабах геологического времени).
Если бы – возражает Пенроуз – наш мозг был оснащен алгоритмами, то эти алгоритмы должны бы были появиться в результате естественного отбора, но:
«Здоровые» определения – это идеи, на которых базируется алгоритм. Но идеям, насколько нам известно, для своего выражения требуется разум, наделенный сознанием789.
Иными словами, процессу проектирования пришлось бы как-то оценить логические обоснования алгоритмов, которые он проектирует, а разве для этого не нужен сознающий разум? Могут ли существовать опознаваемые причины без сознающего разума, который их опознает? «Да, – говорит Дарвин, – могут». Естественный отбор – это слепой часовщик, бессознательный часовщик, но тем не менее он находит вынужденные ходы и Удачные решения. Это не так невероятно, как многим кажется.
Меня не покидает ощущение, что в самой эволюции, в ее явном «нащупывании» пути к какой-то будущей цели есть что-то загадочное и непостижимое. Кажется, что все организовано несколько лучше, чем оно «должно было быть» на основе слепой эволюции и естественного отбора. Вполне возможно, однако, что внешние проявления здесь обманчивы. Возможно, это как-то связано с тем способом, каким действуют физические законы, что позволяет естественному отбору протекать гораздо эффективнее, чем в случае, если бы этот процесс управлялся произвольными законами790.
Невозможно яснее и искреннее выразить надежду, что небесные крючья существуют. И хотя мы еще не можем «в принципе» отрицать существование квантово-гравитационного небесного крюка, Пенроуз пока не дал нам ни одной причины в него поверить. Если бы его теория квантовой гравитации была свершившимся фактом, она вполне могла бы оказаться подъемным краном, но ему еще далеко до ее формулировки, и сомневаюсь, что это когда-нибудь случится. Однако он хотя бы не оставляет попыток. Он хочет, чтобы его теория дала единообразную, научную картину работы разума, а не была поводом провозгласить его непроницаемым Высшим Источником Смысла. Сам я считаю, что путь, который он ныне исследует (в частности, возможные квантовые эффекты в микротрубочках цитоскелета нейронов – идея, которую в Абиско увлеченно расхваливал Стюарт Хамерофф), никуда не приведет – но здесь не место это обсуждать. (Не могу удержаться от того, чтобы предложить Пенроузу подумать вот над каким вопросом: если великолепное квантовое свойство затаилось в микротрубочках, значит ли это, что невычислим также и разум тараканов? Их микротрубочки такие же, как наши.)
Если бы квантово-гравитационный мозг в стиле Пенроуза был на самом деле способен на неалгоритмическую деятельность, и если бы люди обладали таким мозгом, и если бы сам человеческий мозг был результатом алгоритмического эволюционного процесса, то возникло бы забавное противоречие: алгоритмический процесс (естественный отбор на различных уровнях и в различных воплощениях) создает неалгоритмический подпроцесс или подпрограмму, в конечном итоге превращая весь процесс (эволюцию вплоть до формирования мозга людей-математиков – и включая его) в процесс неалгоритмический. Это был бы каскад подъемных кранов, в итоге создающих небесный крюк! Неудивительно, что Пенроуз сомневается в алгоритмической природе естественного отбора. Если бы он и в самом деле был на всех уровнях лишь алгоритмическим процессом, то и все, им созданное, тоже должно бы было быть алгоритмическим. Насколько я могу видеть, это не неизбежное формальное противоречие; Пенроуз мог просто пожать плечами и предположить, что Вселенная содержит эти элементарные крупицы неалгоритмической силы, которые сами не созданы естественным отбором ни под одной из его масок, но которые, когда бы они ни повстречались, можно встраивать в алгоритмические системы как «дары природы» (подобно кэрролловской гусенице). Это были бы поистине нередуцируемые небесные крючья.
Думается, такую позицию можно бы было занять, но Пенроуз вынужден столкнуться с прискорбным недостатком доказательств в ее пользу. В Абиско физик Ганс Ханссон придумал хорошую задачу, сравнив вечный двигатель с компьютеризированным детектором истинности. Различные науки – отметил Ханссон – могут предложить надежные рациональные методы оценки проектов. Если бы кто-нибудь обратился к правительству Швеции с предложением построить вечный двигатель (на бюджетные средства), Ханссон как физик без колебаний бы заявил, что это было бы – должно было бы быть – пустой тратой государственных средств. Реализовать такой проект не удалось бы, поскольку физики доказали, что вечный двигатель невозможен. Думал ли Пенроуз, что предложил доказательство сходного рода? Если предприниматель, занимающийся разработкой искусственного интеллекта, обратился бы к правительству, чтобы построить прибор для определения математических истин, захотел бы Пенроуз также заявить, что это пустая трата денег?
Чтобы конкретизировать вопрос, рассмотрим какие-нибудь весьма специфические разновидности математических истин. Хорошо известно, что не может быть универсальной программы, способной проанализировать любую другую программу и сказать, есть ли в ней бесконечный цикл и будет ли она, следовательно, работать без остановки, если ее запустить. Это – так называемая проблема остановки, и существует «гёделевское» доказательство ее неразрешимости. (Это – одна из теорем, на которые намекал Тьюринг в комментарии 1946 года, процитированном в начале главы.) Ни одна программа, которая гарантированно имеет конец, не может сказать о каждой (конечной) программе, закончится ли она или нет. Но может оказаться небесполезно (и дело стоит того, чтобы потратить кругленькую сумму) иметь под рукой программу, которая очень, очень хороша (если не совершенна) в выполнении этой задачи. Другой класс интересных проблем известен как Диофантовы уравнения: не существует алгоритма, который гарантированно решал бы все такие уравнения. Если бы на кону стояли наши жизни, следовало бы нам потратить деньги на «принципиальное» решение Диофантовых уравнений или «принципиальную» проверку программ на остановку? (Не забывайте: деньги на вечные двигатели нам не стоит тратить даже ради спасения своих жизней, ибо мы потратили бы их на выполнение невыполнимого задания.)
Ответ Пенроуза многое объяснял: если бы кандидаты на проверку «просто каким-то образом возникали из-под земли», то было бы разумно потратить на нее деньги, но если бы кандидатов создавал, а затем проверял при помощи нашего детектора истинности некий разумный актор, то он мог бы одурачить наш алгоритмический детектор, безошибочно конструируя «неверного» кандидата или кандидатов, – уравнение, которое тот не способен решить, или программу, перспектива окончания которой будет ставить его в тупик. Для наглядности можно вообразить себе космического пирата по имени Румпельштицхен, который взял в заложники планету, но освободит ее, не нанеся никакого вреда, если мы сможем ответить на тысячу бинарного типа вопросов об арифметических предложениях. Следует ли нам вызвать на свидетельскую трибуну математика-человека или компьютеризированный детектор истинности, созданный самыми лучшими программистами? Согласно Пенроузу, если мы предоставим свою судьбу компьютеру и позволим Румпельштицхену увидеть его программу, он сможет воспользоваться его уязвимым местом и придумать такое предложение, которое одурачит машину. (Это было бы так вне зависимости от теоремы Гёделя, будь наша программа эвристическим детектором истинности, подобно любой шахматной программе предпринимающим рискованные действия.) Но Пенроуз не дал нам оснований считать, что с любым математиком-человеком, которого мы можем вызвать на свидетельскую трибуну, ничего подобного не произойдет. Никто из нас не совершенен, и даже у команды экспертов, без сомнения, есть какие-то слабости, которыми мог бы воспользоваться Румпельштицхен, будь у него достаточно информации о мозге каждого из ее членов. Фон Нейман и Моргенштерн изобрели теорию игр, чтобы подойти к решению определенного класса сложных проблем, с которыми нас сталкивает жизнь, когда в мире существуют другие акторы, с которыми приходится соперничать. Человек вы или компьютер, защитить свой мозг от таких конкурентов всегда разумно. Причина, по которой в данном случае важно наличие конкурирующего актора, заключается в том, что пространство всех математических истин Чрезвычайно велико, пространство решений Диофантова уравнения является его Чрезвычайно большой, но при том Исчезающе малой областью, и шансы случайно натолкнуться на истину, которая «сломает» или «побьет» нашу машину, пренебрежимо малы, тогда как разумный поиск в этом пространстве, направляемый знанием о конкретном стиле мышления и ограничениях оппонента, вполне вероятно приведет к искомой иголке в стоге сена: сокрушительному контрманевру.
В Абиско Рольф Вазен поднял еще один интересный вопрос. Класс интересных алгоритмов, без сомнения, включает множество алгоритмов, не являющихся доступными человеку. Образно говоря, в Библиотеке «Тошиба» есть программы, которые будут работать на моем «Тошиба» (и я стану ценить их за те чудеса, которые они для меня творят), но которые никогда не смогут создать люди-программисты или какие-либо из сотворенных ими артефактов (программы, пишущие программы, уже существуют)! Как это возможно? Ни одна из этих удивительных программ не длиннее мегабита, и уже сейчас у нас есть множество действующих программ гораздо большей длины. И опять нам нужно напомнить себе, насколько велико Чрезвычайно большое пространство таких возможных программ. Как бы усердно мы ни работали, но, как и в пространстве возможных пятисотстраничных романов, или пятидесятиминутных симфоний, или поэм в пятьсот строк длиной, в пространстве программ длиной в мегабит будут актуализированы лишь тончайшие прутики реальности.
Существуют короткие романы, которых никто не смог написать и которые были бы не просто бестселлерами – их бы немедленно признали классическими. Удары по клавишам, которые нужно сделать, чтобы их написать, осуществимы в любом текстовом редакторе, и общее количество знаков в любой подобной книге не представляет собой ничего выдающегося, но они продолжают оставаться за горизонтом человеческой творческой способности. Каждый конкретный творец – романист, композитор или программист – несется сквозь Пространство Замысла, направляемый конкретным неповторимым набором привычек, известным как стиль791. Именно стиль одновременно и ограничивает нас, и наделяет силой, придавая позитивное направление нашим изысканиям, но лишь за счет того, что закрывает для нас области, которые в противном случае были бы приграничными, – и, если они запретны, в частности, для нас, то, вероятно, запретны для всех и навсегда. Индивидуальные стили поистине уникальны: они – продукт бессчетных миллиардов непрогнозируемых встреч, происходивших на протяжении целой вечности; сначала в результате этих встреч появился уникальный геном, затем – уникальное воспитание и, наконец, уникальная комбинация жизненного опыта. У Пруста не было шансов написать какие-либо романы о Вьетнамской войне, и никто другой этих романов написать не смог бы – романов, отражающих ту эпоху в его манере. Актуальность и конечность нашего существования загоняет нас в ничтожный уголок всего пространства возможностей, но насколько прекрасная актуальность остается нам доступной благодаря проектно-конструкторской работе всех наших предков! Так не лучше ли, насколько в наших силах, воспользоваться имеющимися возможностями и оставить нашим потомкам значительно больше материала для работы?
Настало время переложить бремя доказательства на плечи соперника, как сделал Дарвин, когда призвал своих оппонентов описать какой-либо иной – отличный от естественного отбора – способ, которым могли бы были быть созданы все чудеса природы. Те, кто считает, что человеческий разум неалгоритмичен, должны задуматься о том, какую гордыню предполагает это убеждение. Если опасная идея Дарвина верна, алгоритмический процесс достаточно мощен, чтобы создать дерево и соловья. Намного ли сложнее для него будет написать оду соловью либо подобные дереву стихи? Несомненно, Второе правило Орджела верно: эволюция умнее вас.
ГЛАВА 15: Теорема Гёделя все-таки не ставит под сомнение возможность искусственного интеллекта. В действительности, стоит нам понять, как алгоритмический процесс может избежать когтей теоремы Гёделя, и мы яснее, чем когда-либо, увидим, как опасная идея Дарвина связывает воедино Пространство Замысла.
ГЛАВА 16: А что же мораль? Она тоже эволюционирует? Со времен Томаса Гоббса и по сю пору социобиологи рассказывали Сказки просто так об эволюции морали, но, согласно некоторым философам, любая подобная попытка приводит к «натуралистической ошибке»: ошибкой является поиск фактов о том, как устроен мир, ради обоснования (или редукции) этических выводов о том, как ему следует быть устроенным. Эту ошибку лучше рассматривать как вызов, брошенный алчному редукционизму – вызов, зачастую небезосновательный. Но в этом случае нам в нашем редукционизме просто следует проявлять меньшую алчность.