Еще есть условие П (прозрачности). Прозрачность — это не только визуальная метафора, но также и техническая концепция в философии, у которой есть несколько версий и вариантов применения. В данной работе меня интересует феноменологическая прозрачность, качество, характеризующее некоторые (но не все) сознательные состояния, но никогда — бессознательные. Основная идея очевидна: прозрачные феноменологические состояния делают так, что их содержание выглядит решительно реальным, как нечто, в существовании чего вы не сомневаетесь. Точнее, вы можете испытывать когнитивные сомнения, но лишь в соответствии с субъективным переживанием этого феноменологического содержания: вы не способны дистанцироваться от остроты боли и того факт, что боль — ваша собственная. Феноменология прозрачности — это феноменология непосредственного реализма.
Наше минимальное понятие о страдании, таким образом, составлено из четырех обязательных элементов: условий, которые мы обозначили как С, ОФМ, НВ и П. Любая система, удовлетворяющая всем четырем концептуальным условиям, должна восприниматься как объект, в отношении которого действуют этические ограничения, потому что мы не знаем, является ли наш набор условий необходимым и достаточным; в данном случае перестраховка — наша моральная обязанность. Нам также нужны способы выяснить, испытывает ли рассматриваемая искусственная система страдания в настоящий момент, есть ли у нее такая способность или же такая способность может появиться у нее в будущем. Но, по определению, любая интеллектуальная система — биологическая, искусственная или постбиотическая, не отвечающая хотя бы одному из необходимых условий, страдать не может. Рассмотрим четыре наиболее простых варианта:
• не обладающий сознанием робот не может страдать;
• обладающий сознанием робот без соответствующей ОФМ не может страдать;
• обладающий сознанием робот без способности продуцировать негативную валентность не может страдать;
• обладающий сознанием робот без прозрачных феноменологических состояний не может страдать, потому что ему не хватает феноменологии владения и идентификации.
Меня часто спрашивают, сумеем ли мы создать обладающие самосознанием машины, которые будут исключительно умны и при этом неспособны страдать. Может ли существовать настоящий разум без экзистенциальных вопросов?
Поймем ли мы, что это случилось?
К технологическому сверхинтеллекту ведет множество путей, с которыми может быть связан императив гегемонии, то есть сверхинтеллект способен поработить или уничтожить нас.
Технология давно опережает человечество во многих навыках, даже в тех, которые заложены в нас эволюцией. Например, компьютеры обошли нас даже в умении определять пол по лицу, причем еще четверть века назад. Это один из бессчетных примеров множества задач, с которыми компьютеры давно справляются лучше людей. С тех первобытных времен появилась масса инноваций и способов их использования (GPS, БПЛА, глубинные сети), и когда все эти кусочки мозаики будут собраны, для машин откроется множество путей к уничтожению или порабощению людей. Но, так же как наши цели в построении компьютерного интеллекта изменяются, как только мы привыкаем к последним достижениям, движение к технологической гегемонии может оказаться незамеченным, поскольку всякое постепенное вторжение воспринимается как нечто само собой разумеющееся.
Надо ли нам вообще дожидаться, пока такое будущее наступит? Ответ зависит от того, как именно мы формулируем вопрос.
1. Насколько малым должно быть влияние человека, чтобы признать виновной именно технологию?
2. Насколько очевидным должен быть разрыв между машиной и человеком?
3. Должен ли именно злой умысел вести к уничтожению или порабощению человечества?
4. Должны ли все люди быть убиты или порабощены?
Если принять следующие условия: никакого участия человека в происходящем нет; слияние (или сотрудничество) человека с машиной предосудительно; злой умысел имеет место; человечество ждет полное истребление — тогда исход ясен. Но что, если мы возьмем менее строгие условия?
1. С человеческим фактором ничего нельзя поделать: беспокойство по поводу того, чей именно палец окажется на кнопке (как в известной песне Тома Лерера[130]) предшествовало взлету современных цифровых технологий.
2. Носимые приспособления, улучшающие человеческие способности (от старомодных очков и слуховых трубок до электронных слуховых аппаратов, iWatch и ног Оскара Писториуса), и импланты (кардиостимуляторы, радиоуправляемые спинномозговые устройства для парализованных) размывают границы между человеком и машиной. Люди пользуются этими штуками как добровольно, так и вынужденно — вспомним, например, гаджеты для наблюдения за ребенком или полицейские браслеты, контролирующие передвижения осужденных. Даже самые примитивные образцы уже давно продемонстрировали разрушительные возможности: пояса со взрывчаткой — это носимые устройства, биологическое оружие (например, оспа, поразившая американских индейцев) — импланты.
3. Может ли гибель человечества оказаться побочным явлением? Или же технология должна задаться целью именно уничтожить или покорить нас?
К вопросу о покорении: сейчас многие посвящают всю свою жизнь обслуживанию (или даже служению) технологии и содействию ее «эволюции». Эти люди добывают минералы, разрабатывают «железо», создают программы, помогают диаспорам тех или иных устройств, передавая их пользователям, чтобы те, в свою очередь, служили и обслуживали, еще и платя за это. Люди помогают технологии выполнять ее задачи, а она помогает им выполнять их задачи. Беспристрастный свидетель мог бы задать вполне обоснованный вопрос: кто тут хозяин, а кто — слуга?
Что касается смерти, болезни, инвалидности: токсичные промышленные химикаты и материалы, которые используются при производстве, эксплуатации, распространении или ликвидации технологии, и электромагнитные излучения (от самих устройств и средств связи, используемых для их коммутации) привели к взрывному развитию оксидативного стресса — повреждения клеток, от которого защищают антиоксиданты, — и связанных с ним человеческих недугов — рака, нейродегенеративных и аутоиммунных заболеваний, хронических мультисимптомных нарушений и расстройств аутистического спектра.
Некоторые замечают, что эти заболевания, похоже, выборочно поражают самых умных (тех, кто мог бы стать сверхразумным?) представителей нашего вида. Я полагаю, что, раз оксидативный стресс повреждает митохондрии — энергетические станции клеток — и раз у тех, кто обладает, в силу биологических особенностей, большим мозгом, больше потребности в энергии, у таких людей с потенциальными суперспособностями повышен риск клеточных повреждений и смерти. Проблемы, порождаемые оксидативным стрессом, усиливаются в ситуациях высоких энергетических запросов (даже типичный человеческий мозг, составляющий около 2 процентов от массы тела, использует около 20 процентов кислорода и 50 процентов глюкозы от общего потребления). Возможный вывод: восстание сверхразумных компьютеров уже началось, и теперь они пытаются выборочно изъять у нас тех, кто мог бы стать сверхразумным человеком.
Потому — да, в очевидном смысле технология способна обрести разум и принять решение уничтожить или поработить нас. Но она может использовать не самые очевидные средства, и не исключено, что этот процесс происходит прямо сейчас.
Метапрезентация
История человечества и история технологий переплетаются друг с другом. Мы всегда использовали наши когнитивные способности, чтобы создавать предметы, необходимые нам для выживания: оружие, одежду, жилища. Эволюция человеческого разума проиллюстрирована эволюцией технологий. Мы выработали способность к метарепрезентации — осознанию того, что у нас есть разум и возможности его анализировать, которая является функцией сознания более высокого порядка. И, чтобы смотреть на себя в этом зеркале, мы всегда использовали технологические аналогии — сравнивали свой разум с изобретенными нами технологиями. Для каждой эпохи — своя машина: от гидравлических насосов до компьютеров.
Мы создали технологии, которые не сможет освоить ни один отдельно взятый человек. Наши творения уже вышли за пределы нашего понимания. Поэтому неудивительно, что нам так легко представить, как они становятся самостоятельными существами, обладающими по меньшей мере столь же гибким разумом, как и наш. Научная фантастика описывает идеальных роботов, неотличимых от нас, имеющих тела, говорящих и, очевидно, испытывающих чувства, — роботов, которые могут ввести нас в заблуждение и, вероятно, способны напасть на нас.
Но в нашем понятийном мышлении о собственных разумах мы склонны оставаться картезианскими дуалистами. Мышление кажется такой бесплотной деятельностью, что мы забываем: мы не мозги в банках, никакая микротехнология не воссоздаст всей сложной биологии, благодаря которой работает наш разум, изобилующей нейромедиаторами, энзимами и гормонами. Мы — это наши тела; у нас есть эмоции, непосредственно связанные с телом и влияющие на мыслительный процесс. Машины способны освоить ориентированные на определенные цели когнитивные способности, но их совершенная обработка данных коренным образом отличается от несовершенного, непостоянного, неочевидного мышления людей, связанного с осознанием своего «я», проприоцепцией, чувством собственной целостности, квалиа, отличающих нас от зомби. Компьютеры превосходно справляются с процессами, в которых большинство из нас выглядит довольно неуклюже, мы все чаще обращаемся к машинам, когда нам нужны факты. Значительная часть нашей памяти передана Google, и нет сомнений в том, что наши разумы все больше и больше выходят за границы наших тел — что мы существуем в растущей сети бестелесных разумов и данных. Мышление — отчасти социальная способность; мыслить — значит участвовать в коллективном предприятии, а его сложность так же характеризует состояние человека, как и наша телесность. У машин нет социальной жизни, уже не говоря о том, что они не являются набором биологических тканей, сформированным в ходе эволюции. Они хорошо справляются с определенными задачами, а мы хорошо научились использовать машины для своих целей. Но до тех пор пока мы не создадим телесное эмоциональное существо, чего, как я полагаю, мы сделать не сможем, наши машины продолжат заниматься лишь подобием нашего мышления и эволюционировать сообразно нашим потребностям.