Напротив, кажется, что человечество — это историческая случайность, которая не является оптимальным решением ни для какой хорошо определенной физической задачи. Это означает, что сверхразумный искусственный интеллект с жестко определенной целью сможет оптимизировать ее достижение, просто исключив нас. Это означает, что мудрое решение относительно разработок интеллектуальных систем для нас, людей, предполагает необходимость не только противостоять традиционным вычислительным сложностям, но и решать некоторые из самых упрямых вопросов философии. Чтобы запрограммировать беспилотный автомобиль, нам надо решить «проблему вагонетки», априорно указав, кто будет жертвой во время аварии. Чтобы запрограммированный искусственный интеллект был дружественным, нам надо вложить в него представление о смысле жизни. А что такое «смысл»? И что такое «жизнь»? Каковы конечные этические императивы? Другими словами, как мы можем пытаться формировать будущее нашей Вселенной? Если мы вручим свою судьбу сверхразумному искусственному интеллекту до того, как ответим на эти вопросы, ответ, к которому он придет, вряд ли будет включать наше существование. Поэтому сейчас самое время еще раз вернуться к классическим спорам о философии и этике и отнестись к ним как к весьма срочному делу!
Подведение итогов
• Первопричины целенаправленного поведения — в законах физики, подразумевающих достижение оптимума.
• В термодинамике содержится встроенная цель диссипации энергии за счет увеличения беспорядка, измеряемого энтропией.
• Жизнь — это феномен, который способствует диссипации (увеличивая перемешивание всего со всем), ускоряя ее благодаря своей сложности, нарастание которой, как и репликация носителей жизни, способствует хаотичности среды.
• Дарвиновская эволюция переориентирует целенаправленное поведение с диссипации на репликацию.
• Интеллект — это способность к достижению сложных целей.
• Так как у людей не всегда есть ресурсы, позволяющие разобраться, какова оптимальная стратегия репликации, у нас развились полезные эмпирические правила, которые помогают нам принимать решения и которые мы воспринимаем как сигналы к действию — чувство голода, жажды или боли, как вожделение или сострадание.
• Таким образом, у нас больше нет такой простой цели, как репликация; когда наши чувства вступают в противоречие с целью наших генов, мы подчиняемся чувствам и поэтому, например, используем контрацептивы.
• Мы строим все более умные машины, которые помогают нам достигать наших целей. К тому времени, когда мы построим машину, демонстрирующую целенаправленное поведение, мы постараемся привести цели машины в соответствие с нашими.
• Приведение целей машины в соответствие с нашими включает три нерешенные проблемы: сделать так, чтобы машина узнала о них, приняла их и продолжала их придерживаться.
• Искусственный интеллект в момент создания может иметь практически любую цель, но практически любая достаточно амбициозная цель приведет к появлению вспомогательных целей: самосохранению, захвату ресурсов и удовлетворению любопытства, чтобы лучше понимать мир. Первые две могут потенциально привести к тому, что сверхразумный AI причинит проблемы людям, а последняя может не дать ему сохранить цели, которые мы в него заложили.
• Несмотря на то, что многие общие этические принципы приняты большинством людей, непонятно, как применить их к другим видам, таким как животные или будущие AI.
• Непонятно, как вдохновить сверхразумный AI конечной целью, которая не была бы неопределенной и не приводила бы к истреблению человечества, и это снова возвращает нас к исследованиям некоторых сложнейших вопросов философии!
Глава 8Сознание
Я не могу представить себе последовательной теории всего, которая не включала бы сознание.
Мы должны стремиться к росту самого сознания — чтобы производить больше света и чтобы он светил ярче во Вселенной, которая без него будет темна.
Мы видели, что искусственный интеллект может помочь нам создать прекрасное будущее, если мы сумеем найти ответы на некоторые из самых старых и самых сложных философских вопросов — иногда философия тоже бывает необходима. Сейчас, по словам Ника Бострёма, мы пришли к философскому рубежу. В этой главе рассмотрим один из тех философских вопросов, в котором скрывается множество терний, — вопрос о сознании.
Кого заботит?
Говорить о сознании не просто. Если вы упоминаете «слово на С» в разговоре со специалистом по искусственному интеллекту, неврологом или психологом, они возведут глаза к небу. Если собеседник — ваш наставник, он может сжалиться над вами и попытается отговорить вас тратить напрасно свое время на безнадежную и ненаучную проблему. Действительно, мой друг Кристоф Кох, известный нейробиолог, который стоит во главе Алленовского института мозга, рассказывал мне, как его однажды отговаривали заниматься проблемами сознания, пока у него нет постоянной профессорской позиции — и это был, ни больше ни меньше, нобелевский лауреат Фрэнсис Крик. Если вы посмотрите, что написано в статье о сознании в психологическом словаре Макмиллана 1989 года издания, то узнаете, что «ничего стоящего прочтения по этой теме не было написано»{97}. Я объясню в этой главе, что я более оптимистичен.
Хотя мыслители ломают голову над тайной сознания уже тысячи лет, появление искусственного интеллекта внезапно сделало разрешение ее насущным, в частности в том, что касается возможности предсказать, какие разумные сущности обладают способностью к субъективным переживаниям. Как мы видели в главе 3, вопрос о том, следует ли предоставлять умным машинам какие-либо права, принципиально зависит от того, действуют ли они сознательно, способны ли они страдать или испытывать радость. Как мы обсуждали в главе 7, у нас нет никакой надежды ни на какую утилитарную этику, направленную на достижение максимума положительных переживаний, если мы не знаем, какие разумные субъекты способны на них. Как уже упоминалось в главе 5, некоторые люди могут предпочитать, чтобы их роботы не обладали сознанием, так как иначе они будут ощущать себя рабовладельцами и мучиться чувством вины. С другой стороны, люди могут хотеть и прямо противоположного, когда заливают в компьютер свое сознание, освобождаясь от биологических ограничений: в конце концов, какой смысл заливать себя в робота, который разговаривает как вы и поступает как вы, если он всего лишь бессознательный зомби? В данном случае я имею под этим в виду, что после такой заливки вы и сами не будете ничего чувствовать. Разве это не будет эквивалентно самоубийству с вашей субъективной точки зрения, даже если ваши друзья не будут понимать, что ваш субъективный мир мертв?
Для долгосрочной перспективы будущей жизни в космосе (глава 6) понимание того, что делается сознательно, а что нет, становится ключевым: если развитие технологий позволяет разумной жизни процветать всей нашей Вселенной миллиарды лет, какие основания у нас могут быть для уверенности в том, что эта жизнь останется сознательной и сможет сознательно переживать происходящее? В противном случае не превратится ли все в ту самую пьесу, которую описал знаменитый физик Эрвин Шрёдингер: «[разыгрываемая] перед пустыми рядами кресел, она не существует ни для кого, и не правильнее ли тогда говорить о ней как о несуществующей»{98}? Иными словами, если мы активируем своих высокотехнологичных потомков, которых ошибочно считаем сознательными, то не будет ли это как раз тем самым финальным зомби-апокалипсисом, превращающим наши колоссальные космические авуары в астрономическое пространство, занятое понапрасну?
Что такое сознание?
Многие споры о сознании производят больше жара, чем света, потому что спорящие не понимают друг друга, не отдавая себе отчета в том, что используют различные определения «слова на С». Так же, как для слов «жизнь» и «разум» не существует одного бесспорно правильного определения, не существует его и для слова «сознание». Вместо него есть много конкурирующих: в числе многих — чувствительность, пробужденность, внимание, обращенное на себя, внимание к ощущениям от органов чувств, способность переводить информацию в нарратив{99}. В нашем исследовании будущего разума мы хотим занять предельно общую позицию, которая включала бы в себя все прочие и не ограничивалась только биологическими формами сознания, которые до сих пор существовали. Вот почему определение, которое я дал в главе 1 и которого придерживаюсь в этой книге, так широко:
сознание = субъективные переживания.
Другими словами, если ваше существование связано с какими-то чувствами прямо сейчас, то это означает, что вы обладаете сознанием. Это основополагающее определение, принятое нами во всех вопросах относительно искусственного интеллекта в предыдущих разделах. Что значит быть Прометеем, AlphaGo или беспилотным автомобилем Tesla? Связано ли это с какими-нибудь чувствами?
Чтобы оценить, насколько широко наше определение сознания, обратите внимание, что в нем не упоминаются ни поведение, ни восприятие, ни самоощущение, ни эмоции или внимание. Согласно этому определению, вы сознательны даже во сне, несмотря на то, что у вас нет доступа к органам чувств сенсорного ввода и вы не можете (я надеюсь!) ходить и совершать какие-то другие действия. Схожим образом любая система, которая испытывает боль, в этом смысле сознательна, даже если лишена возможности двигаться. Наше определение оставляет открытой возможность обладать сознанием для будущих систем с искусственным интеллектом, даже если они будут существовать лишь просто как «софт», без подключения к сенсорам и без роботоподобного тел