4) Преемственность: совместимость со сценариями, которые большинство людей сегодня оценивают как счастливые; несовместимость со сценариями, которые сегодня почти все люди рассматривают как ужасные.
Давайте уделим этим четырем принципам некоторое внимание. Традиционно под утилитаризмом понимается «максимальное счастье для максимального количества людей», но я обобщил, постаравшись избавить его от излишнего антропоцентризма, чтобы он еще включал других животных, искусственный интеллект, каким он существует сегодня, и другие виды искусственного интеллекта, которые могут появиться в будущем. Я даю определение на языке переживаний, удалив из него упоминания о людях или вещах, так как большинство мыслителей согласны, что красота, радость, удовольствие и страдание — это субъективные переживания. Это означает, что если нет переживания (как в мертвой или населенной зомби-подобными бездушными машинами Вселенной), то не может быть и смысла или чего бы то ни было другого, этически значимого. Если мы согласимся с утилитарным этическим принципом, тогда становится важно, чтобы мы определили, какие разумные системы обладают сознанием (то есть способны на субъективные переживания), а какие нет. Это тема следующей главы.
Если бы нас заботил только утилитарный принцип, то нам было бы достаточно выяснить, что именно вызывает самое положительное из возможных переживаний, и настроить наш космос так, чтобы именно оно повторялось до бесконечности из раза в раз, если это возможно, в максимально возможном числе галактик — и используя симуляцию, если она окажется наиболее эффективной. Если вы чувствуете, что такой способ употребления нашей космической данности слишком банален, то, подозреваю, главным образом из-за того, что вам в этом сценарии не хватает разнообразия. Что бы вы почувствовали, если бы до конца жизни на завтрак, обед и ужин вам предлагали одно и то же? Или всю жизнь крутили бы только одно кино? Или у всех ваших друзей была одинаковая внешность, одинаковый характер и мысли? Возможно, нам нравится разнообразие не в последнюю очередь потому, что именно оно помогло человечеству выживать и процветать, сделало нас более стойкими. Возможно, это также связано с предустановками для разума: его развитие на протяжении 13,8 миллиардов лет космической истории сопровождалось превращением скучного единообразия в более диверсифицированную, дифференцированную и сложную структуру, которая обрабатывает информацию более сложными способами.
Принцип автономности лежит в основе многих прав и свобод, зафиксированных во Всеобщей декларации прав человека, которую ООН приняла в 1948 году в попытке усвоить уроки двух мировых войн. Сюда включены свобода мысли, слова и перемещения, свобода от рабства и истязаний, право на жизнь, неприкосновенность, безопасность, образование, право вступать в брак, работать и владеть собственностью. Если мы хотим, чтобы наше определение было менее антропоцентричным, мы можем дать его в более общем виде, ограничившись свободой думать, учиться, общаться, владеть собственностью и быть избавленными от причинения ущерба, а также свободой делать то, что мы хотим, пока это не нарушает свобод окружающих. Принцип автономности способствует диверсификации до тех пор, пока у всех хоть немного различаются цели. Кроме того, принцип автономности следует из принципа утилитарности, если у отдельных сущностей есть цель получать положительный опыт и они стараются действовать в своих интересах: если бы вместо этого мы хотели запретить какой-нибудь сущности достигать ее целей, даже если они никому не вредят, положительных переживаний стало бы меньше. В самом деле, это аргумент в пользу автономии — тот же самый, который экономисты приводят в пользу свободного рынка: он способствует возникновению равновесной ситуации (экономисты называют ее «парето-эффективным распределением благ»), где никому не может стать лучше без того, чтобы кому-то другому стало хуже.
Принцип преемственности говорит, что у нас должно быть право голоса в определении будущего, раз уж мы помогаем его строить. Принципы автономности и преемственности утверждают демократические идеалы: первый дает будущим формам жизни власть над тем, как будет использоваться наше космическое достояние, а последний дает такую власть ныне живущим людям.
Несмотря на то, что на первый взгляд никакого противоречия между этими четырьмя принципами не видно, внедрение их на практике проблематично — дьявол, как всегда, в деталях. Сложность кроется в реминисценциях по известным «трем законам робототехники» легендарного писателя-фантаста Айзека Азимова:
1) Робот не может причинить вред человеку или своим бездействием допустить, чтобы человеку был причинен вред;
2) Робот должен повиноваться всем приказам, которые дает человек, кроме тех случаев, когда эти приказы противоречат Первому Закону;
3) Робот должен заботиться о своей безопасности в той мере, в какой это не противоречит Первому и Второму Законам[55].
Хотя все это звучит хорошо, многие истории Азимова показывают, как законы могут привести к противоречиям и неожиданным ситуациям. Теперь предположим, что мы заменим эти законы всего двумя с целью запрограммировать принцип автономности для будущих форм жизни:
1) Обладающая сознанием сущность имеет право на свободу думать, учиться, общаться, владеть собственностью и быть защищенной от ущерба или разрушения;
2) Обладающая сознанием сущность имеет право делать все, что не противоречит первому закону.
Звучит неплохо, правда? Но погодите минутку. Если животные обладают сознанием, тогда чем питаться хищникам? Все наши друзья должны стать вегетарианцами? Если некоторые замысловатые компьютерные программы будущего окажутся обладателями сознания, будет ли законно прерывать их работу? Если есть правило против прерывания цифровых форм жизни, тогда должно также быть ограничение на их создание, иначе нас ждет демографический взрыв среди цифрового населения? Всеобщая декларация прав человека была встречена единодушным одобрением, потому что только люди принимали участие в обсуждении. Как только мы начнем думать о большем количестве обладающих сознанием сущностей, чьи возможности и силы заметно различаются, мы сталкиваемся с запутанной коллизией между защитой слабых и «правом сильного».
Также есть проблемы с принципом преемственности. Принимая во внимание, насколько развились этические взгляды со Средних веков, в том числе на рабство, права женщин и т. д., хотели бы мы, чтобы люди, которые жили 1500 лет назад, имели сильное влияние на то, как устроен мир сегодня? Если нет, почему мы должны насаждать нашу этику для будущих поколений, которые могут быть существенно умнее нас? Действительно ли мы уверены, что сверхчеловеческий искусственный интеллект захочет жить с тем, что было так дорого нашему малоразвитому интеллекту? Так четырехлетняя девочка представляет себе, как она, когда вырастет и поумнеет, построит гигантский пряничный домик, в котором сможет проводить дни напролет с конфетами и мороженым. Как и она, жизнь на Земле, скорее всего, перерастет свои детские интересы. Или представьте мышь, которая создает искусственные интеллект, соразмерный человеческому, и думает, что он будет строить города из сыра. С другой стороны, если бы мы знали, что сверхчеловеческий искусственный интеллект однажды захочет совершить космоубийство и уничтожить всю жизнь в нашей Вселенной, почему должны сегодняшние люди соглашаться на безжизненное будущее, если у нас есть силы предвосхитить его, создавая завтрашний искусственный интеллект по-другому?
В заключение мы можем сказать, что сложно полностью переформулировать даже широко распространенные этические принципы таким образом, чтобы они были приемлемы для будущего искусственного интеллекта, и эта проблема заслуживает серьезного обсуждения и исследования. В настоящий момент, однако, давайте не позволим лучшему быть врагом хорошего: есть много примеров бесспорной «детсадовской этики», которая может и должна быть встроена в завтрашнюю технологию. Например, большому пассажирскому авиалайнеру должно быть запрещено сталкиваться с неподвижными объектами, и сейчас, когда у всех у них есть автопилот, радар и GPS, больше не должно существовать никакого технического оправдания подобному. Но несмотря на это, 11 сентября 2001 года террористы, угнав три самолета, врезались в здания-небоскребы; 24 марта 2015 года пилот-смертник Андреас Лубиц направил самолет авиакомпании GermanWings, выполнявший рейс 9525, в гору, установив автопилот на высоте 100 футов (30 метров) над уровнем моря, а остальное сделал бортовой компьютер. Сейчас, когда наши машины становятся достаточно умными, чтобы понимать, что они делают, настало время нам обозначить для них границы. Любой инженер, разрабатывающий машину, должен задаться вопросом, есть ли какие-то вещи, которые она может, но не должна делать, и обдумать, есть ли практический способ сделать так, чтобы недобросовестный или неумелый пользователь не смог бы использовать ее во вред.
Основные цели?
Эта глава была короткой историей целей. Если мы быстро перемотаем нашу 13,8-миллиардолетнюю историю космоса, мы увидим несколько основных стадий развития целенаправленного поведения:
1) Вещество представляется стремящимся к максимальной диссипации;
2) Примитивная жизнь представляется стремящейся к максимальной репликации;
3) Люди не столько заинтересованы в репликации, сколько преследуют цели, связанные с получением удовольствия, удовлетворением любопытства, состраданием к ближним и другими чувствами, которые у них развились, чтобы способствовать их размножению;
4) Построены машины, помогающие человеку в достижении его человеческих целей.
Если эти машины со временем войдут в стадию интеллектуального взрыва, как завершится эта история целей? Может ли появиться новая система целей или возникнуть новые этические рамки, с которыми согласятся почти все сущности, объединенные процессом общего развития интеллекта? Другими словами, нет ли у