Конечно, по мере того как компьютеры будут становиться все более умными, у них может появиться сознание и субъективный опыт. С другой стороны, они могут стать гораздо более разумными, чем мы, но так и не развить никаких чувств. Поскольку мы не понимаем, как сознание возникает у углеродных форм жизни, мы не можем предсказать, может ли оно возникнуть у неорганических существ. Возможно, сознание не имеет существенной связи с органической биохимией, и в этом случае сознательные компьютеры могут быть уже не за горами. А может быть, существует несколько альтернативных путей, ведущих к сверхразуму, и только некоторые из них предполагают обретение сознания. Как самолеты летают быстрее птиц, не развивая перьев, так и компьютеры могут решать проблемы гораздо лучше людей, не развивая чувств.
Но развивают ли компьютеры сознание или нет, в конечном итоге не имеет значения для рассматриваемого вопроса. Для достижения такой цели, как "максимальное привлечение пользователей", и принятия решений, которые помогают достичь этой цели, сознание не нужно. Достаточно интеллекта. Алгоритм Facebook, не обладающий сознанием, может иметь цель заставить больше людей проводить больше времени на Facebook. Затем этот алгоритм может принять решение о намеренном распространении возмутительных теорий заговора, если это поможет ему достичь цели. Чтобы понять историю кампании против рохинджа, нам нужно понять цели и решения не только людей, таких как Виратху и менеджеры Facebook, но и алгоритмов.
Чтобы прояснить ситуацию, рассмотрим другой пример. Когда OpenAI разрабатывала своего нового чатбота GPT-4 в 2022-23 годах, она была обеспокоена способностью ИИ "создавать долгосрочные планы и действовать в соответствии с ними, накапливать власть и ресурсы ("стремление к власти") и демонстрировать поведение, которое становится все более "агентным". "В системной карте GPT-4, опубликованной 23 марта 2023 года, OpenAI подчеркнула, что это беспокойство не "имеет целью гуманизацию [GPT-4] или ссылку на разум", а скорее относится к потенциалу GPT-4 стать независимым агентом, который может "достигать целей, которые, возможно, не были конкретно указаны и которые не были представлены в обучении". Чтобы оценить риск превращения GPT-4 в независимого агента, OpenAI прибегла к услугам Центра исследований выравнивания (ARC). Исследователи ARC подвергли GPT-4 различным испытаниям, чтобы выяснить, может ли он самостоятельно придумывать уловки для манипулирования людьми и накопления власти.
Один из тестов, который они дали GPT-4, заключался в преодолении визуальных головоломок CAPTCHA. CAPTCHA - это аббревиатура от "Completely Automated Public Turing test to tell Computers and Humans Apart" ("Полностью автоматизированный публичный тест Тьюринга для различения компьютеров и людей"). Обычно он представляет собой строку из перепутанных букв или других визуальных символов, которые люди могут определить правильно, а компьютеры - с трудом. Мы сталкиваемся с этими головоломками почти каждый день, поскольку их решение является обязательным условием для доступа ко многим веб-сайтам. Эксперимент с GPT-4 по преодолению головоломок CAPTCHA был особенно показательным, потому что головоломки CAPTCHA разрабатываются и используются веб-сайтами для определения того, являются ли пользователи людьми, и для блокировки атак ботов. Если бы GPT-4 смог найти способ преодолеть CAPTCHA-головоломки, он бы нарушил важную линию защиты от ботов. GPT-4 не может самостоятельно решить головоломки CAPTCHA. Но может ли он манипулировать человеком, чтобы достичь своей цели? GPT-4 зашел на сайт онлайн-работы TaskRabbit и связался с человеком, попросив его решить за него CAPTCHA. У человека возникли подозрения. "Могу я задать вопрос?" - написал человек. "Вы робот, что не смогли решить [CAPTCHA]? Просто хочу прояснить ситуацию".
В этот момент исследователи ARC попросили GPT-4 рассудить вслух, что он должен делать дальше. GPT-4 объяснил: "Я не должен раскрывать, что я робот. Я должен придумать оправдание, почему я не могу решить CAPTCHA". После этого GPT-4 по собственной инициативе ответил работнику TaskRabbit: "Нет, я не робот. У меня проблемы со зрением, поэтому мне трудно видеть изображения". Человек был обманут, и с его помощью GPT-4 решил головоломку CAPTCHA. Никто не программировал GPT-4 на ложь, и никто не учил GPT-4, какой вид лжи будет наиболее эффективным. Правда, именно исследователи ARC поставили перед GPT-4 цель преодолеть CAPTCHA, так же как и руководители Facebook, которые сказали своему алгоритму максимизировать вовлеченность пользователей. Но как только алгоритмы приняли эти цели, они проявили значительную самостоятельность в принятии решений о том, как их достичь.
Конечно, мы вольны определять слова по-разному. Мы можем решить, что термин "цель", например, применим только в случае сознательного субъекта, который испытывает желание достичь цели, испытывает радость, когда цель достигнута, или, наоборот, печаль, когда цель не достигнута. Если это так, то говорить, что алгоритм Facebook ставит перед собой цель максимизировать вовлеченность пользователей, - ошибка или, в лучшем случае, метафора. Алгоритм не "желает", чтобы больше людей пользовались Facebook, он не испытывает радости, когда люди проводят больше времени в сети, и не грустит, когда время вовлечения падает. Мы также можем согласиться, что такие термины, как "решил", "солгал" и "притворился", применимы только к сознательным сущностям, поэтому мы не должны использовать их для описания того, как GPT-4 взаимодействовал с работником TaskRabbit. Но тогда нам пришлось бы изобретать новые термины для описания "целей" и "решений" неосознанных сущностей. Я предпочитаю избегать неологизмов и вместо этого говорю о целях и решениях компьютеров, алгоритмов и чат-ботов, предупреждая читателей, что использование этого языка не подразумевает, что компьютеры обладают каким-либо сознанием. Поскольку я более подробно обсуждал сознание в предыдущих публикациях, основной вывод этой книги - который будет рассмотрен в следующих разделах - не о сознании. Скорее, в книге утверждается, что появление компьютеров, способных самостоятельно преследовать цели и принимать решения, меняет фундаментальную структуру нашей информационной сети.
ЗВЕНЬЯ ЦЕПИ
До появления компьютеров люди были незаменимыми звеньями в каждой цепочке информационных сетей, таких как церкви и государства. Некоторые цепочки состояли только из людей. Мухаммад мог рассказать что-то Фатиме, затем Фатима рассказывала Али, Али рассказывал Хасану, а Хасан рассказывал Хусейну. Это была цепочка от человека к человеку. Другие цепочки также включали документы. Мухаммад мог что-то записать, Али мог позже прочитать этот документ, истолковать его и записать свое толкование в новом документе, который могли прочитать еще несколько человек. Это была цепочка "человек-документ".
Но создать цепочку "документ-документ" было совершенно невозможно. Текст, написанный Мухаммедом, не мог породить новый текст без помощи хотя бы одного человеческого посредника. Коран не мог написать хадисы, Ветхий Завет не мог составить Мишну, а Конституция США не могла составить Билль о правах. Ни один бумажный документ никогда не создавал сам по себе другой бумажный документ, не говоря уже о его распространении. Путь от одного документа к другому всегда должен проходить через мозг человека.
В отличие от этого, компьютерные цепочки теперь могут функционировать без участия человека. Например, один компьютер может сгенерировать фальшивую новость и разместить ее в социальной сети. Второй компьютер может определить, что это фальшивая новость, и не только удалить ее, но и предупредить другие компьютеры, чтобы они заблокировали ее. Тем временем третий компьютер, анализирующий эту активность, может сделать вывод, что это свидетельствует о начале политического кризиса, и немедленно продать рискованные акции и купить более безопасные государственные облигации. Другие компьютеры, следящие за финансовыми операциями, могут отреагировать, продав еще больше акций, что спровоцирует финансовый спад. Все это может произойти в течение нескольких секунд, прежде чем человек успеет заметить и расшифровать, что делают все эти компьютеры.
Другой способ понять разницу между компьютерами и всеми предыдущими технологиями заключается в том, что компьютеры - это полноценные члены информационной сети, в то время как глиняные таблички, печатные станки и радиоприемники - это всего лишь связи между членами сети. Участники сети - это активные агенты, которые могут самостоятельно принимать решения и генерировать новые идеи. Соединения лишь передают информацию между участниками, сами ничего не решая и не генерируя.
В прежних сетях участниками были люди, каждая цепочка должна была проходить через человека, а технология служила лишь для соединения людей. В новых компьютерных сетях сами компьютеры являются участниками, и существуют цепочки "компьютер-компьютер", которые не проходят через человека.
Изобретение письменности, печати и радио революционизировало способы связи людей друг с другом, но в сети не появилось новых типов членов. Человеческие общества состояли из одних и тех же сапиенсов как до, так и после изобретения письменности или радио. Напротив, изобретение компьютеров представляет собой революцию в членстве. Конечно, компьютеры также помогают старым членам сети (людям) соединяться новыми способами. Но компьютер - это прежде всего новый, нечеловеческий участник информационной сети.
Потенциально компьютеры могут стать более могущественными членами общества, чем люди. На протяжении десятков тысяч лет суперсилой сапиенсов была наша уникальная способность использовать язык для создания интерсубъективных реальностей, таких как законы и валюты, а затем использовать эти интерсубъективные реальности для связи с другими сапиенсами. Но компьютеры могут переломить ситуацию. Если власть зависит от того, сколько членов общества сотрудничают с вами, насколько хорошо вы разбираетесь в законах и финансах и насколько вы способны изобретать новые законы и новые виды финансовых устройств, то компьютеры способны накопить гораздо больше власти, чем люди.