Второе соображение состоит в том, что машины — это не организмы, и, какими бы сложными и высокоорганизованными они ни стали, они не пройдут естественного отбора. Независимо от того, как они сконструированы и запрограммированы, если у них появятся чувства и эмоции, это сделает их контрпродуктивными в плане ценности для нас.
Стимулом к созданию разумных машин станет будущая потребность обрабатывать и анализировать непостижимые объемы информации и данных, необходимых для того, чтобы с достоверностью отделять истинное от ложного и значительное от незначительного. Машины начнут делать предсказания, поскольку тоже смогут всматриваться в будущее, ожидая (без этого никак), пока оно раскроет свои карты. Им придется быть совершенно рациональными субъектами, чтобы выполнять свои задачи точно и надежно.
Для теории принятия решений им потребуется система моральных принципов. Возможно, это будет метод счисления, включающий такие утилитаристские принципы, как «Наибольшее счастье наибольшего числа людей»[69], вместе с золотым правилом нравственности, фундаментальной установкой, лежащей в основе многих религий: «Относись к другим так, как хочешь, чтобы относились к тебе». Субъективные ценности, связанные с чувствами и эмоциями, будут считаться пораженческой стратегией решения сложных проблем, с которыми мы продолжим сталкиваться, решая, что нужнее нам и всем видам, с которыми мы делим планету.
Как клинический невролог я склонен полагать, что мы не сможем читать мысли машин. Но также и они не смогут читать наши. У нас не будет общей модели психического. Подозреваю, что мы сумеем изучить это сложнейшее из состояний опосредованно, изучая поведение таких сверхразумных машин — и ближе нам не подойти. Они преодолеют эту границу, когда начнут размножаться и искать источники энергии, которые будут полностью контролировать самостоятельно. Если такое случится на моем веку (что весьма маловероятно), то судить о том, ждет ли нас утопия или антиутопия, я буду, только основываясь на моем мышлении, как водится, искаженном, поскольку аналитические рассуждения в нем всегда будут окрашены чувствами и эмоциями.
Им не понять сущности человеческих переживаний
Мышление существует во множестве форм, от решения задач по оптимизации чего-либо и игры в шахматы до ведения ученой беседы или сочинения прекрасной музыки. Но мне интересно: что машины, которые предположительно мыслят, могут думать о вещах, в сущности, человеческих? А ведь таких вещей много.
Рассмотрим трогательное описание из «Ради чего я живу» Бертрана Рассела:
Всю мою жизнь пронизывали три страсти, простые, но неодолимые в своем могуществе: жажда любви, тяга к знанию и мучительное сочувствие к страданиям человечества. Как могучие ветры, носили они меня над пучиною боли, увлекая из стороны в сторону и порой доводя до отчаяния[70].
Хотя Рассел был прославленным мыслителем, то, что он описывает, так или иначе знакомо всем нам. Но что из этого поймет машина? Может ли она чувствовать «жажду любви» или «мучительное сочувствие к страданиям человечества»? Может ли ее «носить над пучиною боли из стороны в сторону до отчаяния»?
Если мы примем некую компьютерную метафору разума (я принимаю), то все сантименты должны в конечном счете быть результатами физических процессов, которые в теории могут происходить в машине. Но сами эти вещи часто очень человеческие. Если мы согласимся, что мужчины не до конца понимают материнскую любовь; что тому, кто всегда ел вдоволь, не понять мук голода; что свободному не понять, что значит быть в заключении, — тогда машины, независимо от того, насколько хорошо они «мыслят», могут не суметь постичь многие вещи. А эти вещи — сущность человеческих переживаний. В опере мы сопереживаем Аиде, которая в ужасе от собственных слов «Ritorna vincitor»[71] и понимает, что разрывается между любовью к Радамесу и преданностью своему отцу и своему народу. Сможет ли машина испытывать те же чувства, что и Аида, или переживать, как все мы, когда видим, как она молит богов сжалиться над нею? Сможет ли машина испытывать страх смерти, если она не живет? Похоть, если у нее нет половых органов? Или те ощущения, что приходят вместе с мигренями, морщинами или обычной простудой? Легко представить машину в нацистской форме и еще одну машину, которую мы назовем Софи. Но когда первая заставляет вторую сделать ужасный выбор, сумеет ли первая испытать садистское удовольствие, а вторая — кошмарную безысходность вроде той, что изображена в книге Стайрона «Выбор Софи»[72]?
Если машины неспособны в полной мере к типу мышления, который включает страсти и страдания наподобие тех, что мы видим у Рассела, Аиды или Софи; если они не могут испытывать томление, желание, решимость и унижение, лежащие в основе мышления набоковского Гумберта, конрадовского Куртца, мелвилловского Ахава или толстовской Анны; если они ничего из этого не могут, то, наверное, они действительно неспособны мыслить.
Интуитивная теория машины
Я часто задавался вопросом: почему нам, людям, так тяжело здраво размышлять о мыслящих машинах.
В литературе, кино и играх они часто изображены копиями людей, иногда вплоть до формы тела и его частей, а их поведение указывает на то, что и думают они во многом так же, как мы. Но мышление не обязано следовать человеческим правилам или моделям, чтобы считаться мышлением. Примеров тому множество: шахматные компьютеры умнее людей не потому, что они думают так же, как люди, только лучше, а потому, что они думают совсем по-другому. Успешный перевод с одного языка на другой может быть выполнен без глубокого знания грамматики.
Эволюция наделила человека способностью представлять и осмысливать содержание других человеческих разумов. К моменту поступления в школу дети умеют учитывать, что разные люди знают об одном и том же наборе фактов (необходимое условие для того, чтобы научиться лгать). Позже, став взрослыми, мы используем эту способность, чтобы договариваться, сотрудничать и решать задачи для извлечения личной и общей выгоды. Эта часть ментального оснащения часто называется моделью психического и действует даже в ситуациях, где отсутствуют «разумы», которые можно было бы представить. Видеозаписи, на которых двухмерные фигуры движутся по экрану компьютера, могут рассказывать истории о любви, предательстве, ненависти и насилии, существующие исключительно в голове у зрителя, на время забывающего, что у многоугольников нет эмоций.
Может быть, нам сложно думать о мыслящих машинах, потому что у нас нет соответствующей интуитивно понятной модели. Смоделировать в уме даже простое механическое устройство из нескольких взаимосвязанных шестеренок, скажем чтобы выяснить, в какую сторону, быстрее или медленнее будет крутиться последняя из них при вращении первой, задача чертовски сложная. Сложные машины, состоящие из абстрактных алгоритмов и данных, еще более далеки от нас при тех умственных способностях, которыми мы располагаем.
Возможно, именно поэтому когда мы задумываемся о мыслящих машинах, то воспринимаем их как разумных существ — практически как людей. Мы применяем лучшие инструменты, которые есть у нашего мозга, а именно модель психического и универсальное мышление. К сожалению, первая не предназначена для таких задач, а использование второго затруднено ввиду наших ограниченных способностей к концентрации внимания и выделению оперативной памяти. Конечно, у нас есть дисциплины вроде физики, инженерного дела и теории вычислительных систем, которые учат нас, как понимать и как строить машины, в том числе мыслящие, но для усвоения хотя бы основ этих дисциплин требуются годы систематического обучения.
Предмет «Теория машины» будет игнорировать интенциональность и эмоции и специализироваться на репрезентации взаимодействий различных подсистем, входов и выходов, с тем чтобы спрогнозировать действия машин в различных обстоятельствах, как модель психического (также называемая теорией сознания) помогает нам прогнозировать поведение других людей.
Если бы наш мозг имел встроенный инструментарий для теории машины, то все могло бы быть иначе. Вместо этого мы, похоже, обречены видеть сложную действительность машин, принципы мышления которых отличаются от привычных нам, через призму упрощения и допущения о том, что их разум, при больших или меньших способностях, будет все же аналогичен нашему. Поскольку со временем нам предстоит все больше и больше взаимодействовать с мыслящими машинами, придется как-то выработать более качественные средства для их интуитивного понимания. Создание новой дисциплины — сложная задача, но однажды наш мозг с этим уже справился, инновационным образом использовав уже имевшиеся способности, — когда человечество изобрело письменность. Возможно, наши потомки будут осваивать навыки понимания машин с той же легкостью, с какой мы учились читать.
Мыслящие солончаки
Прогуливаясь на закате около солончаков, я замираю в смущении, потому что тропа исчезает в неглубоком разливе мутной воды, сверкающей в лучах заходящего солнца. Потом я замечаю выложенную из камней переправу, заметную только потому, что их грубая поверхность нарушает светлую, яркую гладь водной поверхности. Я приспосабливаю свой шаг к ритму камней и иду через солончак к виднеющимся вдали песчаным дюнам.