апомнить и вызубрить эти два описанных выше урока истории наук. Человеческое суждение – вовсе не бесполезная шелуха торжествующей чистой объективности самоограничений. А механическая объективность есть добродетель, конкурирующая с другими, а не определяющая сущность научных изысканий. Вот уроки, которые следует усвоить, – и пусть алгористы продолжают грезить о предельной объективности.
Глава 23Права машин
Джордж М. Черч
профессор-стипендиат генетики в Гарвардской медицинской школе, профессор медицинских наук и технологий в Гарварде и МТИ, автор (с Эдом Реджисом) книги «Регенезис: как синтетическая биология заново изобретает природу и нас самих».
В последнее десятилетие генная инженерия догнала в развитии компьютерные науки и вошла в число новых научных инициатив, определяющих нашу повседневную жизнь. Генетик Джордж Черч, лидер революции в изучении и описании биологии, является ключевой фигурой этого нового ландшафта идей. Он рассматривает человеческое тело как операционную систему, а инженеры, по его мнению, должны потеснить традиционных биологов в процедурах «переоснащения» компонентов организмов (от атомов до органов), как произошло в другой отрасли знаний в конце 1970-х годов, когда инженеры-электрики прокладывали путь к первым персональным компьютерам, компонуя печатные платы, жесткие диски, мониторы и т. д. Джордж затеял и возглавил проект «Персональный геном», который, единственный в мире, предоставляет открытую информацию о генетических, экологических и поведенческих данных (GET) и может считаться «первой ласточкой» растущей индустрии исследований ДНК.
Также Джордж в немалой степени причастен к разработке основ программы BRAIN (Brain Research through Advancing Innovative Neurotechnologies – исследование мозга посредством инновационных нейротехнологий) президента Обамы (2013), ориентированной на стимулирование человеческого мышления до степени, когда для выполнения большей части повседневных задач нам не понадобится (чреватая рисками) помощь ИИ. «Возможно, некоторые проекты инициативы BRAIN позволят нам обрести сознание, лучше соответствующее нашей этике и способное к решению сложных задач, обычно относимых к области искусственного интеллекта, – говорит Джордж. – На сегодняшний день надежнее всего побудить людей к выполнению все тех задач, которые они хотели бы поручить машинам, но мы пока не спешим встать на эту дорогу к безопасному будущему».
Средства массовой информации, писавшие о прорывах в генной инженерии, почему-то в целом проигнорировали недавнее, крайне важное и новаторское достижение Джорджа: он использовал локус CRISPR[186] (а также методики, более совершенные, чем локусы CRISPR) для редактирования геномов человеческих клеток.
Отношение Джорджа к будущим формам общего искусственного интеллекта в целом позитивно, о чем свидетельствует и очерк ниже. При этом он никогда не упускает из вида проблему безопасности ИИ. Процитирую его замечание по этому поводу: «На мой взгляд, главный риск ИИ заключается не столько в том, сможем ли мы математически понять, о чем он думает, сколько в том, способны ли мы научить машину этическому поведению. Ведь мы едва способны научить такому поведению друг друга».
В 1950 году Норберт Винер в книге «Человеческое применение человеческих существ» проявил удивительную прозорливость, предупредив, что
…подобная джинну машина, способная к обучению и принятию решений на базе этого обучения, никоим образом не окажется обязанной принимать те решения, какие приняли бы мы сами или какие были бы приемлемыми для нас… Доверяем ли мы наши решения машинам из металла или тем машинам из плоти и крови, которые организуются в бюро, крупные лаборатории, армии и корпорации… Час почти пробил, выбор между добром и злом стоит у нашего порога.
Таков был главный посыл его книги, и шестьдесят восемь лет мы жили с этим ощущением, не располагая ни рецептами спасения, ни запретами, ни даже четко сформулированной «постановкой проблемы». С тех пор мы неоднократно слышали предупреждения об угрозе со стороны машин, даже адаптированные под широкие массы; вспомним такие фильмы, как «Колосс: проект Форбина» (1970), «Терминатор» (1984), «Матрица» (1999) и «Из машины» (2015)[187]. Но наконец настала пора серьезно обновить наши воззрения и рассмотреть новые перспективы – в особенности обобщить наши «человеческие» права и экзистенциальные потребности.
Общественная обеспокоенность проявляется обычно в противопоставлении «их [роботов] и нас», а также в страхе перед «серой слизью [нанотехнологии]» или перед «монокультурными клонами [биотехнологии]». Экстраполируем текущие тренды: а что произойдет, окажись мы в состоянии вырастить или сотворить почти что угодно и добиться любого желаемого уровня безопасности и эффективности? Любое мыслящее существо (состоящее из атомов) обретет тогда доступ ко всем технологиям.
Вероятно, нам следует меньше беспокоиться о противостоянии с «ними» и больше – о правах всех разумных на фоне возникающего беспрецедентного разнообразия разумов. Мы должны использовать это разнообразие для минимизации глобальных экзистенциальных рисков, будь то извержение супервулкана или прилет астероида.
Но правильно ли говорить «должны»? (Дисклеймер: в этом и во многих других случаях при описании развития общества, которое «могло бы», «должно» или «обязано» иметь место, технолог не обязательно излагает собственные соображения на сей счет. Нередко это предупреждение, неопределенность выбора или независимая оценка.) Робототехник Джанмарко Веруджо и другие специалисты с 2002 года поднимают вопросы роботоэтики[188]; Министерство торговли и промышленности Великобритании и Институт будущего корпорации «РЭНД» изучают вопросы прав роботов с 2006 года.
Принято говорить, что наука изучает то, что «есть», а не то, что «должно быть». Рассуждения Стивена Джея Гулда о «непересекающихся магистериях»[189] подразумевают, что следует строго различать факты и ценности. Точно так же в манифесте «Наука и креационизм» (1999) Национальной академии наук США отмечается, что «наука и религия принадлежат двум разным сферам познания». Это разделение критиковали многие – эволюционный биолог Ричард Докинз, я сам и др. Можно обсуждать значение слова «следует» в формулировке «Следует сделать X, чтобы добиться Y». Какова приоритетная величина Y, не обязательно решается демократическим голосованием, зато может определиться в ходе дарвиновского «голосования». Системы ценностей и религии возникают и исчезают, диверсифицируются, расходятся и сливаются, подобно живым существам, то есть они подвержены отбору. Конечная «ценность» («следует») обеспечивается выживанием генов и мемов.
Немногие религии утверждают отсутствие каких бы то ни было связей между нашим физическим бытием и духовным миром. Чудеса задокументированы. Конфликты между церковной доктриной и учениями Галилея и Дарвина постепенно улаживаются. Вера и этика широко распространены среди людей и могут быть изучены с использованием научных методов, включая, помимо прочего, МРТ, психоактивные препараты, опросники и пр.
С практической точки зрения мы должны опираться на этические нормы, встроенные, усвоенные или вероятностно отобранные для все более интеллектуальных и разнообразных машин. Но возникает целый ворох проблем в духе проблемы вагонетки[190]. При каком количестве людей в «очереди на смерть» компьютер должен принять решение и передвинуть конкретного человека вперед или назад? В конечном счете это задача глубинного обучения, когда придется принимать во внимание огромные базы данных и учитывать непредвиденные обстоятельства, что, казалось бы, не имеет прямого отношения к этике.
Например, компьютер может сделать вывод, что человек, который избежит смерти, если не вмешаться, является осужденным террористом-рецидивистом, способным распространить по миру смертоносный патоген, – или он станет святым POTUS[191], а также окажется звеном в цепочке гораздо более значимых событий в альтернативной реальности. Если какое-либо из приведенных описаний выглядит парадоксальным или нелогичным, возможно, начальные условия задачи сформулированы таким образом, что колебаний и нерешительности не избежать.
Либо можно использовать неправильное направление для настройки системы, дабы ошибочные режимы не попадали в фокус внимания. Например, в исходной формулировке проблемы вагонетки подлинно этическое решение было принято намного раньше, когда людям позволили выходить на рельсы – или еще раньше, когда мы предпочли расходы на развлечения расходам на обеспечение общественной безопасности. Вопросы, на первый взгляд нелепые и тревожные, например: «Кто владеет новыми умами и кто платит за их ошибки?», схожи с привычными законами, определяющими, кто владеет корпорациями и платит за их грехи.
Мы можем (чрезмерно) упростить этику, предположив, что какие-то сценарии не реализуются никогда. Технические проблемы и «красные линии», которые невозможно пересечь, обнадеживают, но реальность такова, что, едва выгоды перевешивают риски (пусть на краткий срок и на чуть-чуть), «красная линия» немедленно смещается. Незадолго до рождения Луизы Браун в 1978 году[192] многие люди ворчали, что ей суждено «стать настоящим маленьким монстром, уродливым, искалеченным, с которым что-то не так»[193]. Мало кто сегодня придерживается подобного взгляда на экстракорпоральное оплодотворение.