Но будем смотреть глубже. Большинство из нас без видимых сложностей пользуется местоимением в единственном числе, «я», имея в виду переплетение нейронов у себя в голове. Мы точно знаем, где заканчиваемся мы и начинается мир и другие люди. Но рассмотрим модульных роботов — небольшие кубики или сферы, которые могут произвольно соединяться и разъединяться. Как бы такие машины подошли к проблеме разграничения «я — не-я»? Сильнее бы они сопереживали другим машинам (а может, и людям), будучи в состоянии физически присоединиться к ним или даже стать их частью?
Вот что я думаю о мышлении машин: оно будет похожим на наше, поскольку машины тоже станут использовать свои тела как инструменты для построения суждений о мире, и все же оно будет совершенно иным, поскольку их тела будут отличаться от человеческих, что приведет к совершенно иным модусам мышления.
Но что я думаю о мыслящих машинах? Я нахожу этическую сторону вопроса совершенно немудреной. Их опасность будет четко коррелировать с объемом свободы действий, которую мы им дадим для выполнения задач, поставленных нами же. Машины, которым сказали «обнаруживать и убирать бракованные изделия с конвейерной ленты лучшим способом из возможных», будут вполне полезны, интеллектуально неинтересны и, вероятно, уничтожат больше рабочих мест, чем создадут. Машины, получившие инструкции «обучать недавно принятого сотрудника (или ребенка) лучшим способом из возможных», создадут рабочие места и, вероятно, станут вдохновением для следующего поколения. Машины, которым приказано «выживать, размножаться и развиваться самым эффективным способом из возможных», лучше всего продемонстрируют нам разнообразные способы мышления, но они, вероятно, оставят нам очень немного времени, чтобы насладиться новым знанием. Исследователи в области искусственного интеллекта и робототехники рано или поздно найдут способы создать все три этих вида. Какие из них мы захотим сделать реальностью — решать нам.
Не начинаем ли мы думать как машины?
В предвидении будущего есть что-то старомодное. Большая часть предсказаний, вроде трехдневной рабочей недели, личных джет-паков и безбумажного офиса, больше говорят о временах, когда делались сами прогнозы, чем о наших днях. Когда кто-то простирает руку и указывает в будущее, неплохо бы посмотреть, кому эта рука принадлежит.
Возможность появления универсального искусственного интеллекта уже давно привлекает любителей гаданий с помощью хрустального шара, причем из числа приверженцев как утопических, так и антиутопических взглядов. И все же спекуляции на эту тему достигли такой остроты и интенсивности только за последние несколько месяцев (недаром Edge выбрал именно такой вопрос), что можно сделать кое-какие выводы о нас и о нашей культуре сегодня.
Нам уже некоторое время известно, что машины могут превзойти людей в сообразительности в узком смысле слова. Вопрос в том, делают ли они это таким способом, который может или должен походить на более широкий модус человеческого мышления. Даже в такой «послушной» области, как шахматы, компьютер и человек сильно расходятся.
«Послушные» проблемы (например, задача определить высоту горы), которые правильно сформулированы и имеют четкие решения, легко перемалываются жерновами узкоспециализированного мышления. Еще более узкое мышление тоже бывает востребовано, например когда нужно перебрать огромные массивы данных в поиске корреляций, не отвлекаясь на размышления об их причинах.
Но многие из стоящих перед нами проблем — от социального неравенства до выбора школ для наших детей — это «коварные» проблемы, потому что у них нет верных или неверных решений (хотя мы надеемся, что одни из них лучше, а другие хуже). Они исключительно зависимы от контекста и имеют сложную совокупность причин, которые меняются в зависимости от уровня толкования. Эти проблемы плохо сочетаются с узким вычислительным мышлением. Факты в них перемешаны с ценностями, отражая пронизанное эмоциями человеческое мышление, которое их создало.
Для решения «коварных» проблем требуется именно человеческое суждение, даже если оно в каком-то смысле нелогично, особенно в сфере морали. Несмотря на логическое обоснование консеквенциалистского образа мышления, который может воспроизвести компьютер, склонность человека отличать действие от бездействия и смешивать результаты и намерения (как в принципе двойного эффекта) означает, что если нам нужны долгосрочные решения, то они должны удовлетворять человеческим инстинктам судей, то есть нас.
И именно это свойство нашего разума (сформированное эволюционными факторами) указывает на зияющую пропасть между человеческим мышлением и мышлением машины. Мышление не бывает мотивированным без определенных предпочтений, а у машин собственных предпочтений нет. Только разумы, которые понимают, что такое причина и следствие, способны формировать мотивы. Потому, если цели, желания, ценности — свойства человеческого разума, зачем тогда делать прогнозы о том, что искусственные сверхразумы станут чем-то большим, чем инструменты в руках тех, кто их программирует и у кого есть свои предпочтения.
Если сумбурность предсказаний об искусственном интеллекте и машинном обучении нам о чем-то и говорит, то точно не о том, что машина в скором времени сумеет эмулировать человеческий разум. Мы можем запросто добиться того же, рожая больше детей и давая им хорошее образование. Скорее, она говорит нам о том, что аппетиты растут.
Мы, понятное дело, восхищены нынешними достижениями вычислительной науки и теми, которые еще впереди; я бы с удовольствием запрыгнул в вагон этого виртуального беспилотного поезда, несущегося в светлое будущее. Но такое восхищение ведет к своеобразным перекосам в нашей культуре. Прежде метафорой мышления была «республика букв» — литература, а теперь оно все больше ассоциируется с компьютерами. Позади остается некогда спокойный, а ныне тревожный тип личности со складом ума скорее текстовым, нежели символьным. Мы начинаем новую жизнь, утомившись от неуклюжей несостоятельности беспорядочного мышления. Неудивительно, что министр образования Великобритании недавно посоветовала подросткам, стремящимся преуспеть в жизни, отдавать предпочтение точным наукам, а не искусству или гуманитарным дисциплинам. Простота и очевидность успеха определенного рода придает узкоспециализированному мышлению притягательный блеск.
Но кое-что теряется, если целые области исследования становятся успешными или терпят неудачу из-за такой узкой специализации мышления, и возникает новая проблема. Помимо истины, нам также необходимо думать о добре и красоте — и о коварстве тоже. Для этого требуется словарный запас, лучше отражающий нашу противоречивую природу (которую можно считать и «багом», и «фичей»). Понятное стремление сделать «коварные» проблемы «послушными» ведет нас к тому, чтобы умерить свои аппетиты.
Еще один фрактальный элемент общей картины
Я сегодня за городом.
Когда заработает центральное отопление, я встану и приготовлю себе чаю и каши, в которую добавлю орехов и фруктов. Я включу «Всемирную службу Би-Би-Си», чтобы послушать новости, а потом сделаю пару звонков по поводу гидроизоляции и, наверное, высажу несколько луковиц нарциссов на весну (на упаковке сказано, что сейчас как раз пора). Думаю, потом я пойду в магазин и куплю кое-что на обед и на ужин, а еще, наверное, доеду на автобусе до Норвича, присмотрю новую кровать. В загородном доме у меня интернета нет, так что я проверю электронную почту в Норвиче, сделаю предварительный заказ билета обратно до Лондона и оплачу счет за электричество через электронный перевод.
И вот что мне во всем этом непонятно. Мне непонятно, как мазут, используемый в системе отопления, попадает с далеких месторождений в мой дом. Мне непонятно, как его делают из нефти и какие коммерческие транзакции при этом совершаются. Мне непонятно, как устроена топка. Мне непонятно, откуда взялись каша, чай или орехи и как они ко мне попали. Мне непонятно, как работают мой телефон или цифровое радио, а также как получены и смонтированы новости, которые оно передает. Мне также непонятны сложности организации автобусного или железнодорожного сообщения, и я не смогу починить ни одно из подобных транспортных средств. Мне не очень понятно, как функционируют сетевые супермаркеты, как организовано массовое производство кроватей, как работает Wi-Fi и что именно происходит, когда я нажимаю «Отправить» в форме электронной почты или онлайн-банка. Управление поставками электроэнергии, монтаж гидроизоляции, селекция нарциссов для получения определенных разновидностей и то, почему их надо высаживать не позже декабря, — это все мне тоже непонятно.
Забавно, но меня ничуть не тревожит то, что мое невежество в отношении почти всего, чем я займусь сегодня утром, настолько велико. Я к этому привык: я всю жизнь становлюсь все более невежественным, у меня большой опыт по части невежества и спокойного восприятия этого состояния. На самом деле то, что я называю «пониманием» оказывается «более эффективным способом справляться со своим невежеством».
Мое беззаботное отношение связано с почти абсолютной верой в надежность огромного суперкомпьютера, к которому я постоянно подключен. Он строится из интеллекта тысяч поколений человеческих разумов, и работа над ним продолжается. Весь этот человеческий разум живет в форме суперкомпьютера, состоящего из инструментов, теорий, технологий, ремесел, наук, дисциплин, традиций, ритуалов, правил «буравчика», искусств, систем верований, заблуждений, процедур и наблюдений, которые мы называем мировой цивилизацией.