Мудрый старик на облаке
Пределы крайности как объяснение
В 2012 году Университет Сан-Франциско, иезуитское образовательное учреждение, связал кампанию по набору студентов с идеей о том, что христианство похоже на Facebook. Одним из их девизов стала фраза «Наш CEO[93] руководил социальными сетями за две тысячи лет до рождения Марка Цукерберга» [1].
Что-то в этом сравнении внушает мне беспокойство. Каждое учреждение обрело влияние особым образом. Каждая сеть создала центр средоточия власти в обход политических и территориальных границ и существовала согласно собственному плану. Каждый из них стал, можно сказать, «социальной монополией», участвуя в социотехнических атаках огромного масштаба.
Это не означает, что в социальной монополии обязательно происходит нечто плохое. Они же могут принести пользу обществу в невероятных масштабах. Католическая церковь, несомненно, помогает множеству бедных людей получить образование, множеству умирающих – умереть спокойно, множеству больных – вылечиться и наладить отношения с родными. В 2012 году Facebook попался на использовании социальной инженерии – соцсеть расширила списки доноров органов, чуть-чуть подправив алгоритм взаимодействия с пользователями. Когда ссылку на опцию пожертвования разместили прямо перед носом у людей, очень многие ее оценили.
Но проблема с отдельными средоточиями власти заключается в том, что никогда не известно, кто их унаследует. Если социальная сеть обладает способностью синхронизировать огромные толпы народа, который свергнет императора, то почему она не может координировать самосуд или погромы?
В Средние века, когда государственная власть была слаба, церковь терпела «плохих пап». Пропуск в загробную жизнь, да и само папство были объектом торга, а благотворительная и духовная миссия оказались в тени разного рода лицемерных и откровенно преступных схем.
Основная идея интернета – в том, что человек доверяет другим, и люди смогут вести себя прилично в разумных пределах, получив такую возможность. И я счастлив убедиться в этом снова. Это все, что у нас есть.
Но способность беспрепятственно участвовать в массовом обмане с применением социальной инженерии, которую уже продемонстрировал Facebook, доказывает, что интернет в том виде, в котором он существует на сегодняшний день, – не формирующаяся идеальная система, как нам часто его представляют, а система в основном управляемая, и инициатива в ней исходит сверху. У социотехнического обмана не может быть цели лучше, чем повысить количество пожертвований на донорство органов, и все же крайнее благо предыдущего опыта не говорит о целесообразности его наследования.
Мы притворяемся, что на облаках компьютерных систем зарождается новое сверхчеловеческое существо – искусственный интеллект, но жмут на их рычаги именно люди, те самые, которые управляют работой серверов-сирен.
Глобальное торжество тьюринговского настроения
Часто в новостях рассказывают о последних успехах в области разработки искусственного интеллекта: машина, которая умеет улыбаться, программа, которая умеет предсказывать человеческие музыкальные вкусы или пристрастия в выборе партнеров, робот, обучающий детей иностранным языкам. Этот нескончаемый поток историй предполагает, что машины становятся умной и автономной новой формой жизни и нам следует считать их друзьями, а не инструментами. Но подобные выводы не меняют нашего мысленного восприятия компьютеров: они лишь изменяют форму наших базовых представлений о жизни, причем ошибочными и зачастую травмирующими способами.
Все эти детали исследований в области искусственного интеллекта можно зачастую с куда большей пользой интерпретировать, вообще не прибегая к концепции искусственного интеллекта. Например, в 2011 году ученые из IBM презентовали машину, «отвечающую на вопросы», предназначенную для участия в телевикторине «Рискуй!». Предположим, IBM обошлись бы без театральной показухи, объявив, что усовершенствовали Google – создали новую систему поиска по фразам. Такое представление абсолютно идентичной технологии принесло бы команде столько же (вполне заслуженного) признания, сколько принесло объявление об искусственном интеллекте, но также приучило бы общественность к тому, что любую технологию можно использовать с максимальной эффективностью.
Обычно технологии искусственного интеллекта работают за счет одного из вариантов процесса, осуществляющего перевод с языка на язык, о котором уже шла речь в одной из предыдущих глав. При всей важности инноваций в алгоритмах необходимо также подпитывать эти алгоритмы большими массивами данных, собираемых с обычных людей. Результат, предположительно достигнутый искусственным интеллектом, можно расценивать как гибрид предыдущих попыток живых людей. Люди прежде отвечали на множество вопросов; множество их ответов собрали алгоритмы, и программа выдала их обратно сплошным потоком. Это никоим образом не умаляет их достоинств и не отрицает их пользы, но не делает их работу сверхъестественной. Живые люди, которым принадлежат ответы на вопросы, заслуживают платы за каждый новый ответ, данный машиной.
Рассмотрим также сканирование книги в цифровой формат. Историк Джордж Дайсон писал, что один из инженеров Google как-то сказал ему: «Мы сканируем все эти книги не для того, чтобы их читали люди. Мы сканируем их для того, чтобы их прочел искусственный интеллект». Притом что нам еще предстоит узнать, чем обернется инициатива Google по сканированию книг, такой машиноцентричный взгляд на проект может привести к появлению программ, для которых книги подобны зерну на мельнице, больше похожему на лишенные контекста обрывки информации в одной большой базе данных, а не на отдельные выражения мыслей конкретных авторов. При таком подходе содержание книг будет распылено на атомы битов информации, а потом собрано в кучу, а сами авторы, ощущение их реального присутствия, их уникальные взгляды на мир, будут утеряны. Не стоит и говорить о том, что при использовании такого подхода следы будут тщательно подчищаться, и будет очень сложно понять, кому же из авторов полагается наноплатеж за тексты, попавшие в базу данных.
Все это сводится к тому, что сама концепция искусственного интеллекта дает нам возможность избежать финансовых обязательств, притворившись, что машины могут брать на себя все больше и больше человеческой ответственности. Это справедливо даже по отношению к тому, что мы не воспринимаем как искусственный интеллект, например, рекомендации, которые дают Netflix и Pandora. Полагаю, слушать музыку и смотреть фильмы, которые предлагают нам алгоритмы, относительно безвредно. Но надеюсь, что когда-нибудь пользователи этих сервисов начнут сопротивляться рекомендациям; воздействие искусства на нас не стоит заключать в рамки алгоритма, который якобы точно предсказывает, что придется нам по вкусу. Эти алгоритмы не передают эмоций или смысла – только данные статистики и совпадения.
Вдвойне смущает, что, даже если бы Кремниевая долина могла продавать искусственный интеллект потребителям, наша промышленность определенно не стала бы применять те же автоматизированные технологии к некоторым отраслям. Выбор элементов дизайна, скажем, нового смартфона кажется слишком важной игрой. Инженеры не вполне готовы поверить в свои умные алгоритмы в достаточной мере, чтобы противопоставить их новому главе Apple или еще кому-то, способному оценить тонкости проектирования и дизайна.
Но ожидается, что все остальные, усыпленные концепцией искусственного интеллекта, умнеющего не по дням, а по часам, будут доверять алгоритмам, которые получат доступ к выбору наших эстетических пристрастий, успеху в учебе, кредитному риску владельца дома или учреждения. Если это произойдет, все закончится тем, что мы будем превратно истолковывать как способности наших машин, так и свои собственные. Вместо этого мы должны принять на себя ответственность за каждую задачу, которую даем машине, и дважды проверять каждый вывод, предлагаемый алгоритмом, точно так же как оглядываемся по сторонам, переходя дорогу на перекрестке, даже если горит зеленый свет.
Когда мы думаем о компьютерах как о пассивных, инертных инструментах, действующих вместо людей, наградой нам служит более ясный, менее идеологизированный взгляд на происходящее – как с машинами, так и с нами самими. Так почему же, если отбросить в сторону театральный эффект привлекательности для потребителей и репортеров, результаты подобных проектов так часто должны быть представлены в духе Франкенштейна?
Ответ: потому что программисты – люди, и их точно так же приводит в ужас происходящее с людьми, как и всех остальных. Мы, технологическая элита, ищем новый способ мышления, который поможет нам, например, противостоять смерти. Это помогает объяснить привлекательность таких мест, как Университет Сингулярности. Это авторитетное учреждение, основанное в Кремниевой долине, учит примерно следующему: когда-нибудь, в не столь далеком будущем, интернет внезапно превратится в единый сверхразумный искусственный интеллект, бесконечно умнее каждого из нас в отдельности и всех нас, вместе взятых; он очень быстро станет живым существом и захватит мир, потому что люди даже не успеют понять, что происходит.
Некоторые считают, что новый разумный интернет предпочтет убить всех нас; другие – что он весьма великодушно оцифрует нас, как Google оцифровывает старые книги, чтобы мы могли жить вечно, как алгоритмы внутри глобального мозга. Да, выглядит как сюжет очередного фантастического кино. Да, в такой прямолинейной формулировке это звучит безумно. Но эти идеи высказываются в Кремниевой долине повсеместно; для многих наиболее влиятельных технических специалистов это основополагающие принципы, а не развлечение.
Совершенно очевидно, что мы не можем рассчитывать на появление некоего сенсора, обнаруживающего душу, который подтвердит, что сознание человека стало бессмертным и виртуальным. И на сегодняшний день у нас точно нет такого сенсора, который подтвердил бы метафизические идеи, касающиеся людей. Все мысли о сознании, душе и тому подобном завязаны на веру, подталкивающую к интересному выводу: мы наблюдаем становление новой религии, нашедшей выражение в технокультуре.
Однако я хотел бы отметить, что сегодня в мире чересчур много путаницы и возмущения в отношении границ религии и современности, будь то недоверие к научной точке зрения среди исламских и христианских фундаменталистов или даже ощущение неловкости, которое часто идет рука об руку с прогрессом, когда дело касается, например, изучения изменений климата или исследований стволовых клеток.
Если технологические специалисты создают собственную ультрасовременную религию, говоря людям смиренно подождать, пока их душа морально устареет, мы в итоге придем к тому, что противостояние усилится. Но если технологии представить без всей этой метафизической нагрузки, возможно ли, что современные люди будут реже ощущать неловкость?
Технология по сути своей – услуга. Технологические специалисты работают, чтобы мир стал лучше. Наши изобретения могут облегчить нагрузку, снизить уровень бедности и страданий, а иногда привнести в мир новые разновидности прекрасного. Мы можем предоставить людям больше возможностей поступать в соответствии с нормами нравственности, потому что с развитыми медициной, сельским хозяйством и жилищными условиями люди могут легко позволить себе быть добрее, чем те, кто болен, замерзает и голодает.
Но цивилизованность и совершенствование людей – все еще вопрос выбора. Поэтому ученые и инженеры должны представлять технологии так, чтобы не затруднять этот выбор.
Мы приносим людям максимальную пользу, когда наши религиозные концепции существуют отдельно от нашей работы.
Цифровая и доцифровая теократия
Если мы хотим, чтобы людям жилось в этом мире хорошо, нам не следует постепенно приравнивать людей к машинам. Мы не должны позволять, чтобы в основу изменения технологий легла философия, в рамках которой люди не считаются особенными. Но что же действительно такого особенного в людях? Должны ли мы признать, что признание самих себя особенными имеет метафизическую или сверхъестественную основу?
В качестве кульминации этой книги я предложу предварительный план проекта, который называю «гуманистической информационной экономикой». Гуманизм может включать в себя толерантность в отношении некоей разновидности двойственного восприятия. Двойственность означает, что не существует единого плана реальности. Для некоторых это может значить, что существует некий отдельный духовный или загробный мир, но для меня это значит лишь то, что ни физическая реальность, ни логика ничего не объясняют. Быть скептиком с двойственным восприятием – все равно что идти по канату. Наклонись влево – пойдешь на уступки суевериям. А справа поджидает ловушка топорного редукционизма.
Двойственное восприятие предполагает разницу между людьми и даже сверхсовершенными машинами. Когда дети учатся переводить с одного языка на другой или отвечать на вопросы, они также пополняют такие ресурсы, как контекст, вкус и нравственность, которые изобретатели машин не могут породить, а могут лишь синтезировать.
Многие друзья-технари говорят мне, что я цепляюсь за сентиментальное и субъективное различие. Мои аргументы основаны как на стремлении к истине, так и на прагматизме (идее сохранения человеческой свободы).
Вера в уникальность людей – позиция меньшинства в мире технологий, и я хочу изменить ситуацию. То, как мы ощущаем жизнь (назовите это «сознанием»), – не вписывается ни в материалистическую, ни в информационную картину мира. В последнее время я предпочитаю пользоваться термином «опыт», поскольку противоположный философский лагерь присвоил термин «сознание». Этот термин был бы вполне применим в наши дни для обозначения моделей самого себя, которые можно запустить у робота.
Что такое «опыт»?
Если мы хотим спросить, что такое «опыт», то можно сформулировать вопрос так: «Что бы изменилось, если бы мы исчезли из этого мира?»
Если бы личного опыта не существовало, как бы тогда выглядел мир? Возможен целый ряд ответов. Один из них – ничего бы не изменилось, потому что сознание это всего лишь иллюзия, выдвинутая на первый план. (Однако я бы отметил, что сознание – не то, что можно ослабить, если это иллюзия.)
Другой ответ – вся Вселенная исчезла бы, потому что для ее существования необходимо сознание. Эта мысль была характерна для последователей первых работ физика Джона Арчибальда Уилера. Некоторое время он считал, что сознание играет главную роль в сложившейся ситуации, выполняя функцию квантового наблюдателя в некоторых фундаментальных взаимодействиях.
Еще один ответ был бы таким: версия нашей Вселенной, в которой отсутствует сознание, была бы похожа на ту, где оно присутствует, но не идентична ей, потому что люди в ней были бы скучнее. Этого подхода придерживались бы некоторые специалисты в области когнитивных наук, предполагающих, что сознание выполняет особую, но ограниченную практическую функцию в мозге.
Но есть и еще один ответ. Если бы сознания не существовало, траектории всех частиц оставались бы одними и теми же. Любые измерения в мире были бы одинаковыми. Однако не было бы «совокупных» объектов или предметов обихода. Не будет ни домов, ни яблок, ни мозгов, которые будут их воспринимать. Кроме того, не будет ни мыслей, ни слов, хотя электроны и химические связи в мозге, порождающие их, останутся прежними.
Были бы просто частицы, из которых состоят объекты, расположенные там же, где находились в любом другом случае, – но не сами объекты. Иными словами, сознание обеспечивает онтологию[94] для частиц. Если бы не было сознания, то и о Вселенной можно было бы сказать, что она – просто набор частиц. Или же, если вам больше нравятся формулировки из области программирования, остались бы одни биты, а не структуры данных. Ничто не имело бы значения, но это никак не ощущалось бы.
Спор можно было бы усложнить тем, что в материальном мире существуют ограниченные полосы частот информационного канала между разными уровнями описания, так что один из этих уровней мог бы определять динамику на общем уровне, описание которого через взаимодействие частиц невозможно. Но чем более общий характер у процесса, тем больше он зависит от различных интерпретаций тех, кто его наблюдает. В минимальной квантовой системе возможно лишь ограниченное количество измерений, так что, несмотря на разницу в интерпретациях, феноменологическая разница была бы меньшей. Но большая система – не тот случай. Какие экономические показатели являются основными? В этом вопросе нет согласия.
Дело в том, что все попытки избавиться от наблюдателя, наделенного восприятием, – не что иное, как стремление дать описание воспринимаемой нами Вселенной. И убедиться, что подобные проекты завершены, по определению невозможно.
Вот почему я не считаю, что здравый смысл определенно поможет разрешить спор об «уникальности» людей. Подобные споры напоминают попытки Канта доказать или опровергнуть существование Бога с позиций здравого смысла.
О ком бы ни велся спор, будь то Бог или люди, аргументы одни и те же. Итак, я не могу доказать, что люди являются особенными, и никто не может доказать обратное, но я могу утверждать, что будет лучше просто предположить, что мы особенные. Ведь если мы будем считать именно так, мы немного потеряем, но многое обретем.