• Стабильность целей: непостоянство целей может превратить утопию в ее противоположность, но недостаточная их изменчивость чревата невозможностью приспособиться к меняющемуся технологическому окружению.
Построить оптимальное общественное управление, которое продержалось бы тысячелетия, совсем не просто и пока человечеству не удавалось. Большинство организаций распадались по прошествии лет или десятилетий. Католическая церковь — наиболее успешная организация в человеческой истории в том смысле, что только она смогла продержаться два тысячелетия, но и ее постоянно критикуют и за слишком большую, и за слишком малую приверженность постоянным целям: одни упрекают ее в нежелании признать право на контрацепцию, в то время как наиболее консервативные ее кардиналы заявляют, что она сбилась со своего пути. Для всякого приверженца сценария с богом-защитником поиск достаточно устойчивой оптимальной схемы общественного управления должен стать первоочередной задачей уже в наше время.
Предположим, что человечество процветает благодаря порабощенному богу с искусственным интеллектом. Можно ли считать это этичным? Если у искусственного интеллекта есть собственные субъективные переживания, то не познает ли он, что, по выражению Будды, «жизнь есть страдание»? Что ему суждено навеки подчиняться поработившим его существам с более низким интеллектуальным развитием? В конце концов, изоляция искусственного интеллекта, обсуждавшаяся нами, может быть также названа «заключением в одиночную камеру». Ник Бострём считает, что обрекать на страдание сознающий себя искусственный интеллект — это «преступление против разума»{70}. Эпизод White Christmas телесериала Black Mirror дает тому блестящий пример. А в телесериале Westworld люди без всяких моральных оправданий мучают и убивают существа с искусственным интеллектом, тела которых даже похожи на человеческие.
У нас, у людей, сложилась уже давняя традиция относиться к другим разумным существам как к рабам, ссылаясь в оправдание на естественную пользу от этого для своего рода, так что нет оснований утверждать, что мы не станем так же относиться и к сверхразумному искусственному интеллекту. История рабовладения затронула почти каждую культуру, она описана и в Законах Хаммурапи, почти четыре тысячелетия назад, и в Ветхом Завете, в связи с рабами Авраама. «Ведь властвование и подчинение не только необходимы, но и полезны, и прямо от рождения некоторые существа различаются [в том отношении, что одни из них как бы предназначены] к подчинению, другие — к властвованию», — пишет Аристотель в своей Политике[33]. Даже после того как рабовладение стало морально неприемлемым, порабощение животных продолжалось без каких-либо ограничений. Марджори Шпигель в своей книге The Dreaded Comparison: Human and Animal Slavery пишет о том, что рабы-животные, как и рабы-люди, подвергаются клеймению, ограничению в перемещениях, избиениям, их продают и покупают, разлучают с детьми и родителями, насильственно перевозят с места на место. Но, при наличии движения за права животных, мы, совершенно не задумываясь, обращаемся как с рабами с нашими становящимися все более умными машинами, а говоря о движении за права роботов, только хихикаем. Почему?
Самый популярный аргумент в защиту рабства — рабы недостойны человеческих прав, потому что их раса/вид/род в каком-то отношении ниже нас. Низшее положение порабощенных животных или машин подразумевает отсутствие у них души или сознания — научную необоснованность этого утверждения мы покажем в главе 8.
Другой популярный аргумент гласит о том, что рабам в рабстве лучше: их содержат, о них заботятся и т. д. Политический деятель XIX века Джон Колдвелл Кэлхун утверждал, что африканцам лучше всего живется в Америке на положении рабов. А Аристотель в своей Политике аналогичным образом пишет о животных, которым лучше, когда они приручены и находятся в подчинении у людей: «…Польза, доставляемая домашними животными, мало чем отличается от пользы, доставляемой рабами»[34]. Некоторые сторонники рабства в наши дни утверждают, что даже если жизнь рабов уныла и однообразна, они не страдают, — будь они даже умными машинами будущего или бройлерными цыплятами, живущими в переполненных темных клетках и вынужденными целыми днями вдыхать аммоний и иные специфические вещества, которые выделяют перья и фекалии.
Хотя от таких высказываний легко отмахнуться как от предвзятых искажений правды, особенно когда речь идет о высших млекопитающих, в церебральном отношении очень близких к нам, ситуация с машинами довольно интересная и непростая. Люди сильно различаются в том, что они чувствуют: психопатам, как утверждается, чужда эмпатия, шизофреники и пребывающие в депрессии не откликаются на внешние раздражители, то есть большинство эмоций у них практически выключены. В ходе нашего обсуждения в главе 7 станет ясно, что возможный искусственный ум машины охватывает гораздо больший диапазон состояний, чем ум человека. Так что нам не надо приписывать искусственному интеллекту антропоморфные качества, допуская у него «человекоподобные чувства» — вообще какие-либо чувства.
И правда, в своей книге On Intelligence исследователь искусственного интеллекта Джефф Хокинс доказывает, что у первых машин с интеллектом, превосходящим человеческий, по определению не будет эмоций, потому что такие машины проще и дешевле построить. Другими словами, вполне возможно спроектировать сверхразум, порабощение которого в моральном отношении более приемлемо, чем порабощение людей или животных: искусственный интеллект может быть счастлив в рабстве, потому что запрограммирован любить его или на 100 % лишен всяческих эмоций, он без устали использует свою интеллектуальную мощь на пользу своим человеческим хозяевам и испытывает по этому поводу не больше переживаний, чем испытывал Deep Blue, свергая с шахматного олимпа чемпиона мира Гарри Каспарова.
С другой стороны, можно подойти к проблеме и иначе: может быть, любая сверхразумная целеустремленная система будет представлять свою цель в терминах некоторой определенной последовательности предпочтений, подразумевающей ценности и смыслы. Мы еще обсудим этот вопрос в главе 7.
Крайний подход к исключению страданий для искусственного интеллекта предлагает так называемый вариант зомби: мы будем строить только такие машины, чтобы их искусственный интеллект был напрочь лишен сознания и вообще не имел никакого субъективного опыта. Если нам однажды станет ясно, какими качествами должна обладать система, перерабатывающая информацию, чтобы обладать субъективным опытом, мы немедленно запретим разработку машин с этим набором качеств. Иными словами, все AI-исследования должны быть ограничены созданием бесчувственных зомби-систем. Если нам удастся добиться от такого зомби сверхразумности и удерживать его в рабстве (что довольно большое «если»), то мы сможем наслаждаться его творениями с чистой совестью, зная, что он ничего не испытывает и не страдает, ни в чем не разочаровывается и не скучает, — потому что у него вообще нет никаких переживаний. Мы обсудим эту возможность в главе 8.
Однако вариант зомби не лишен минусов, делающих его крайне рискованным. Если этот сверхразумный зомби однажды совершит побег и уничтожит человечество, то мы, как утверждают некоторые, придем к худшему из вариантов — Вселенной, лишенной всяческого разума, окончательному поражению всего космического предприятия. Из всех черт, какими только обладает наша человеческая форма разума, сознание, как я чувствую, намного превосходит все прочие, и именно оно, по моему убеждению, делает существование нашей Вселенной осмысленным. Галактики прекрасны только потому, что мы их видим и субъективно переживаем их существование. Если в далеком будущем в нашем космосе останется только один бесчувственный сверхразумный зомби, элегантность Вселенной станет неважной, никто не сможет ни наблюдать ее, ни переживать ее элегантности — космос станет огромным и бессмысленным пропащим местом.
Есть и третья стратегия, позволяющая сделать сценарий порабощенного бога этически приемлемым: превратить заточение искусственного интеллекта в забаву, позволив ему создавать бесчисленные виртуальные миры, где он сможет получать все виды необходимого ему личного опыта, при условии, что он выполняет свои обязанности и тратит некоторую скромную часть своих вычислительных ресурсов на помощь людям во внешнем мире. Но это сильно увеличивает риск возможного побега: у такого AI больше стимулов добраться до большего числа вычислительных ресурсов ради расширения своего внутреннего мира.
Победители
У всех рассмотренных нами многочисленных сценариев есть одно общее качество — человечество в целом или, по крайней мере, какая-то часть его остается счастливой. Умные машины не трогают людей: либо потому, что не хотят, либо потому, что принуждены к этому. К сожалению для нас, это не единственная возможность. Давайте сейчас рассмотрим сценарий, в котором одна умная машина или много умных машин побеждают людей и убивают их всех. Первый вопрос, возникающий в связи с этим, — почему и как?
Почему появляется AI-победитель? Его резоны могут оказаться слишком сложными для нашего понимания, но могут оказаться и совершенно банальными. Например, он может прийти к заключению, что мы для него угроза, помеха или просто причина ненужной траты ресурсов. Даже если он и не возражал бы против людей как таковых, ему может быть тревожно от тысяч наших водородных бомб, которые могут быть приведены в действие в любую минуту из-за ничтожнейшего недоразумения или череды досадных несчастных совпадений. Ему может не понравиться то безрассудство, с каким мы управляемся со своей планетой, и он положит началу тому, что Элизабет Колбе