Главный вопрос заключается в том, есть ли вообще явная онтологическая граница между организмами и артефактами. Но вместо того чтобы непосредственно ответить на этот вопрос, мы бы хотели задать другой, хотя и связанный с ним: есть ли серьезные различия между видами мышления, которые демонстрируют организмы, и видами мышления, которые демонстрируют мыслящие артефакты вроде машин, то есть между органическим и артефактным мышлением? Это не вопрос о содержании слов типа «мыслить», «мышление», «мысль». Нет особой глубины, например, в вопросе о том, надо ли использовать эти термины для ввода, обработки и вывода информации, которые могут осуществлять компьютеры. Скорее проблема состоит в том, есть ли существенные отличия между тем, что делает некто вроде нас, и тем, что делает нечто вроде компьютеров.
Результаты недавних эмпирических исследований в области изучения эмоций, а также последних теоретических изысканий в философии говорят о том, что различия в самом деле существенные. Предположим, вы отправились в поход и столкнулись со львом. Что с вами происходит на уровне физиологии? Если вы не отличаетесь от большинства людей, то у вас в голове проносится быстрый поток мыслей: «Я умру», «Вот ведь не повезло», «Надо сохранять спокойствие», «Надо было почитать о том, что делать в таких ситуациях» и т. д. Вы также испытываете массу чувств: удивление, страх и пр. То есть с вами происходят определенные когнитивные и аффективные процессы.
Последние работы по психологии и философии говорят о том, что когнитивное и аффективное выступают в единстве. Дело не только в том, что один человек может в большей или меньшей степени влиять на другого в различных контекстах. В действительности существует единый когнитивный/аффективный процесс, лежащий в основе двух параллельных и взаимодействующих процессов, которые нельзя разделить. Большая часть нашего мышления имеет такой холистический характер; наш способ обработки информации является скорее когнитивным/аффективным, нежели чисто когнитивным. Если мы и получим чисто когнитивный процесс, то он будет производным от базового единого процесса. Это отличие Системы 1 от Системы 2[93], где первая — в основном автоматическая и бессознательная, а вторая — эксплицитная и осознанная. Мы полагаем, что процессы и на уровне Системы 1, и на уровне Системы 2 сами по себе являются холистическими, то есть когнитивными/аффективными.
Нет убедительных данных (по крайней мере, пока) о том, что артефактные мыслящие машины способны выполнять такую когнитивную/аффективную обработку информации. Есть убедительные данные о том, что они способны научиться лучше делать то, что уже умеют, но они просто не работают с информацией в рамках единого когнитивного/аффективного процесса, характерного для нас. Их способ обработки информации схож лишь с частью этого единого процесса. Из сказанного не следует, что такие вещи, как компьютеры, неспособны чувствовать и, следовательно, не могут мыслить; скорее можно сделать вывод, что их мышление категорически отличается от нашего.
Контекст очень важен
В какой момент мы будем готовы сказать, что машина мыслит? Когда она сможет делать расчеты, когда сможет понимать контекстуальные сигналы и соответствующим образом изменять свое поведение, когда сможет подражать эмоциям и вызывать их у других? Ответ на основной вопрос зависит от того, что мы подразумеваем под мышлением. Есть множество сознательных (Система 2) процессов, с которыми машина справится лучше, точнее и с меньшим объемом искажений, чем мы. Но машина не может мыслить в автоматическом (Система 1) режиме. Мы не до конца понимаем автоматические процессы, которые определяют то, как мы себя ведем и как мыслим, поэтому мы не можем запрограммировать машину вести себя так, как человек.
Тогда ключевой вопрос таков: если машина способна мыслить в режиме Системы 2 на скорости человеческой Системы 1, то не будет ли ее «мышление» в чем-то превосходить наше? Что ж, тут очень важен контекст: в чем-то — да, так и получится; в чем-то — нет. Машины не будут близоруки. Они сумеют решить наши экологические проблемы; они не станут жертвой стереотипов и оценочных суждений; они облегчат страдания многих; они будут лишены нашей склонности к аффективному прогнозированию и т. д. Но, с другой стороны, компьютер может не понравиться нам. Что, если поэт и машина напишут одно и то же стихотворение? Понимая, что стихотворение сгенерировано программой, читатель наверняка воспримет его хуже; знание об авторе-человеке окрашивает линзу, через которую читатель оценивает и интерпретирует стихи.
Как предотвратить взрыв интеллекта
Значительная часть риторики по поводу экзистенциальных рисков, связанных с искусственным интеллектом (и сверхинтеллектом вообще), задействует метафору «взрыв интеллекта». Проводится аналогия с ядерными цепными реакциями: исследователи искусственного интеллекта словно бы работают с каким-то элементом смартонием, и, если будет достигнута достаточная его концентрация, мы получим неконтролируемый взрыв интеллекта — цепную реакцию — с непредсказуемыми результатами. Это нельзя назвать точным описанием реальных рисков. Взаимосвязанные алгоритмы искусственного интеллекта не станут ни с того ни с сего захватывать Вселенную. Взрыв интеллекта не произойдет случайно; это потребует построения особого вида системы ИИ, которая сможет обнаруживать в мире упрощающие структуры, конструировать вычислительные устройства, которые будут их использовать, а затем предоставлять автономию и ресурсы своим детищам, и т. д.
Чтобы произошел взрыв интеллекта, необходимое рекурсивное выполнение четырех шагов. Во-первых, система должна уметь проводить эксперименты в физическом мире. В противном случае она не сможет добавить никакого нового знания к уже созданному человеком. (Большая часть недавних достижений в области искусственного интеллекта связана с применением машинного обучения для воспроизведения человеческого знания, а не для его расширения.) В большинстве философских дискуссий по поводу искусственного интеллекта прослеживается естественная тенденция фокусироваться на чистом рассуждении, как будто этого достаточно для расширения знания. В особых случаях (например, в математике и некоторых разделах физики) новое знание может быть получено в ходе чистого рассуждения. Но, как правило, развитие научного знания почти исключительно достигается в ходе сбора эмпирических данных, подтверждающих или опровергающих те или иные гипотезы. Поэтому мы и построили Большой адронный коллайдер, поэтому любые инженерные изыскания связаны с созданием и тестированием прототипов. Машины явно способны с этим справиться, более того, уже существует несколько «автоматизированных ученых».
Во-вторых, эти эксперименты должны обнаруживать новые упрощающие структуры, которые можно использовать для того, чтобы обойти нераскрываемость рассуждения вычислительными средствами. Практически все интересные логические задачи (такие как нахождение оптимальной стратегии в игре, оптимизация на основании комплексных ограничений, доказательство математических теорем, построение предположений о структуре молекул) имеют класс NP. В рамках сегодняшнего нашего понимания вычислительной сложности это означает, что цена решения одного случая для определенной задачи экспоненциально возрастает с увеличением размерности этого случая. Прогресс в области разработки алгоритмов обычно требует отыскания определенной упрощающей структуры, которую можно использовать для того, чтобы обойти эту экспоненту. Взрыва интеллекта не случится, если не будет открыто множество таких структур (или пока не выяснится, что нынешнее наше понимание вычислительной сложности неверно).
В третьих, система должна быть способна проектировать и реализовывать новые вычислительные механизмы и новые алгоритмы. Те и другие будут эксплуатировать научные открытия, сделанные в ходе первого шага. В действительности можно сказать, что этот шаг, по существу, аналогичен первым двум, но сосредоточен на вычислении. Автономное проектирование и производство вычислительной аппаратуры вполне осуществимо в случае основанных на кремнии технологий, а новые разработки в области синтетической биологии, комбинаторной химии и 3D-печати в ближайшем будущем их еще больше упростят. Автоматическая разработка алгоритмов демонстрировалась уже много раз, так что это тоже осуществимо.
В-четвертых, система должна быть в состоянии предоставлять автономию и ресурсы новым вычислительным механизмам, чтобы они, в свою очередь, могли проводить эксперименты, открывать новые структуры, разрабатывать новые вычислительные методы и производить еще более мощное «потомство». Насколько мне известно, пока ни одна система такого не достигла.
Первые три шага не представляют опасности в плане возникновения «интеллектуальной цепной реакции». Опасен четвертый шаг — воспроизводство и автономия. Конечно, практически все потомство будет неудачным, точно так же практически все новые устройства и программные средства с первого раза не заработают. Но при достаточном числе циклов — или, что то же самое, при достаточном воспроизводстве с изменчивостью — взрыв интеллекта нельзя исключить.
Как его предотвратить? Мы можем надеяться, что второй шаг окажется неудачным — что мы уже нашли все структурные упрощения для повышения эффективности алгоритмов, а оставшиеся не будут иметь существенного значения. Но мало кто из инженеров-электротехников или программистов готов заявить, что исследования в их областях себя исчерпали.