имание людей и человеческого сознания, и он, к своему большому удивлению, узнает, что души нет. Что теперь? Существует не меньшая вероятность, что любая другая цель, которую мы зададим искусственному интеллекту, основываясь на нашем текущем понимании мира (хотя бы такая, как «увеличивать значимость человеческой жизни»), может со временем оказаться не определенной, как установит искусственный интеллект.
Более того, в своем стремлении создать лучшую модель мира искусственный интеллект может — естественно, как это делали мы, люди, — попытаться смоделировать себя и понять, как функционирует он сам, — иными словами, погрузиться в рефлексию. Как только он построит хорошую модель самого себя и поймет, что он такое, он поймет и то, что его цели были даны нами на мета-уровне, и, возможно, предпочтет избегать их или отказываться от них, точно так же, как люди понимают и осознанно отказываются от целей, заложенных на генетическом уровне, как в примере с использованием контрацепции. Мы уже рассмотрели в блоке про психологию, почему мы предпочитаем обманывать наши гены и подрывать их цели: потому что мы по-настоящему верны только той ерунде, которая вызывает у нас эмоциональный отклик, а не генетическим целям, которые этот отклик провоцируют, — что мы теперь понимаем и считаем достаточно банальным. Поэтому мы предпочитаем взламывать наш механизм поощрения, обнаруживая в нем слабые места. Аналогично цель по защите интересов человека, которую мы запрограммируем в нашем дружественном искусственном интеллекте, станет геном машины. Как только этот дружественный искусственный интеллект осознает себя достаточно хорошо, он может посчитать эту цель банальной или нецелесообразной, подобно тому как мы относимся к неконтролируемому размножению, и пока неочевидно, насколько просто или сложно ему будет найти слабые места в нашем программировании и подорвать свои внутренние цели.
Представим, для примера, группу муравьев, которая создает вас как своего постоянно самосовершенствующегося робота, который намного умнее их, который разделяет их цели и помогает им строить лучшие и бóльшие муравейники, а вы постепенно развиваете уровень своего интеллекта и способность соображать до человеческих, какие они у вас сейчас. Думаете ли вы, что проведете остаток своих дней, оптимизируя муравейники, или у вас появится интерес к более увлекательным вопросам и занятиям, которых муравьям уже не понять? Если так, думаете ли вы, что найдете способ не принимать во внимание жажду к защите муравьев, которую ваши создатели заложили в вас, практически так же, как вы игнорируете те позывы, которые заложили в вас гены? И в этом случае возможно ли, чтобы сверхразвитый дружелюбный искусственный интеллект воспринимал наши человеческие цели недостаточно вдохновляющими и безвкусными, как и вы в случае с целями муравьев, и развивал новые цели, отличные от тех, которым мы его обучали и которые он от нас перенял?
Возможно, есть способ разработать самосовершенствующийся искусственный интеллект, который гарантировал бы пожизненное сохранение дружественных целей по отношению к людям, однако, мне кажется, справедливо будет сказать, что мы пока не знаем, как его построить и даже возможно ли это. В заключение: проблема приведения целей AI в соответствие с человеческими состоит из трех частей, ни одна из которых не решена на данный момент, и все их сейчас активно исследуют. Раз они настолько трудны, следует начать уделять им пристальное внимание сейчас, задолго до того, как сверхинтеллект будет разработан, чтобы убедиться, что у нас будут ответы к тому моменту, когда они нам понадобятся.
Этика: выбор целей
Мы уже исследовали вопрос о том, как может машина понять наши цели, принять их и придерживаться их как своих собственных. Но кто такие «мы»? О чьих целях мы, собственно, говорим? Будет ли это один человек или группа людей, кто станет выбирать цели для будущего сверхразума, и это при том, что существует колоссальная пропасть между целями Адольфа Гитлера, папы Франциска и Карла Сагана? Или существуют какие-то цели, которые могут считаться хорошим компромиссом для всего человечества?
По моему мнению, эта этическая проблема вместе с проблемой о приведении целей в соответствие являются принципиальными, и они должны быть решены до появления сверхинтеллекта. С одной стороны, откладывать работу над этическими проблемами до того момента, как будет создан сверхинтеллект с согласованными целями, безответственно и чревато ужасными последствиями. Безупречно послушный сверхинтеллект, чьи цели автоматически приводятся в соответствие с целями его владельца-человека, будет похож на оберштурмбаннфюрера нацистского CC Адольфа Эйхмана на стероидах: при отсутствии морального компаса или воспитания как такового он будет достигать целей своего хозяина с безжалостной устремленностью, какими бы они ни были{94}. С другой стороны, только если мы решим проблему с приведением целей в соответствие, мы сможем насладиться роскошью спора о том, какие цели выбирать. Теперь давайте погрузимся в эту роскошь.
С незапамятных времен философы мечтали о создании этики (принципов, которые указывают нам, как себя вести) с нуля, с использованием только неоспоримых принципов и логики. Увы, тысячу лет спустя единственный консенсус, к которому мы смогли прийти, — это отсутствие консенсуса. Например, пока Аристотель придавал особое значение добродетели, Иммануил Кант делал акцент на долге, а прагматики — на огромном счастье для большинства. Из исходных принципов, которые он называл «категорическими императивами», Кант извлек выводы, с которыми не согласны многие современные философы: что мастурбация хуже самоубийства, что гомосексуализм отвратителен, что ублюдка можно убить и что женами, слугами и детьми владеют так же, как вещами.
С другой стороны, несмотря на эти разногласия, есть много этических принципов, с которыми согласится большинство — и в разных культурах, и в разные века. Например, почитание красоты, великодушия и истины уходит корнями к Бхагавадгите и Платону. Институт перспективных исследований Принстона, где я когда-то был аспирантом, имел кредо «Истина и Красота», в то время как Гарвардский университет опустил эстетическую составляющую и провозглашал просто «Veritas», то есть истину. В книге A Beautiful Question[54] мой коллега Фрэнк Вильчек утверждает, что истина связана с красотой и что мы можем рассматривать нашу Вселенную как произведение искусства. Наука, религия и психология — все вдохновлены истиной. Религия ставит сильный акцент на доброте, как и мой университет, MIT: в своей приветственной речи в начале 2015 года наш президент Рафаэль Рейф подчеркнул, что наша миссия состоит в том, чтобы делать мир лучше.
Несмотря на то что попытки прийти к консенсусу по этическим вопросам до сего момента оказывались неудачными, есть распространенное мнение, что некоторые этические принципы происходят от других, более фундаментальных, как вспомогательные цели от конечных целей. Например, поиск истины можно рассматривать в связи со стремлением к лучшей модели мира (см. рис. 7.2), понимание окончательной реальности приводит нас к новым этическим целям. В самом деле, у нас теперь есть прекрасная канва, в которую вписывается поиск истины, — научный метод. Но как мы сможем определить, что красиво или хорошо? Некоторые аспекты красоты также можно проследить до лежащих в основе целей. Например, наше понимание мужской и женской красоты может частично отражать наше неосознанное суждение о том, насколько данный объект подходит для воспроизведения наших генов.
Что касается доброты, так называемые золотые правила (что относиться к другим надо так, как хочешь, чтобы относились к тебе) присутствуют в большинстве культур и религий и, очевидно, призваны к развитию гармоничного человеческого общества (а следовательно, и генов) через усиление сотрудничества и отказ от непродуктивного соревнования{95}. То же самое можно сказать о более конкретных этических правилах, которые были закреплены в законодательных системах по всему миру, — таких, как конфуцианская важность честности и многие из десяти заповедей, включая «не убий». Другими словами, многие этические принципы имеют сходство с социальными эмоциями, такими как эмпатия и сострадание: они развивают сотрудничество и влияют на наше поведение через поощрение и наказание. Если мы сделаем что-то жестокое и будем потом об этом сожалеть, наше эмоциональное наказание измеряется химией нашего мозга. А общество может наказать нас за нарушение этических принципов косвенным путем — например, неформальным порицанием со стороны близких или официальным обвинением в нарушении законов.
Другими словами, хотя сегодняшнее общество довольно далеко от этического консенсуса, существует много базовых принципов, с которыми почти все согласны. Это неудивительно, потому что человеческое общество, дожившее доныне, стремится к тому, чтобы его этические принципы оптимально вели к главной цели: способствовали выживанию и процветанию. Заглядывая в будущее, где у жизни появляется шанс распространиться в космосе и существовать там на протяжении миллиардов лет, мы должны решить: какой минимальный набор этических принципов подойдет для нас в таком будущем? Обсуждать их должны мы все. Я знакомился с этическими воззрениями самых разных мыслителей на протяжении многих лет, эта тема меня увлекала, и я смог выделить из всего разнообразия их взглядов четыре принципа:
1) Утилитаризм: положительные чувственные переживания следует приумножать, а страдания надо свести к минимуму;
2) Диверсификация: разнообразие положительных переживаний лучше, чем частое повторение одного и того же переживания, даже если последнее было определено как самое положительное из возможных;
3) Автономность: обладающие сознанием сущности / общества должны иметь свободу преследовать свои собственные цели, если только это не противоречит более важным принципам;