> (b), то можно проследить, где > (упорядочивание предпочтений) было впервые введено в систему, и представить себе иной алгоритм, который, наоборот, вычисляет (a) < (b). Покажите мне разум, который придет в ужас от явно безумной мысли превратить все сущее в скрепки, и я смогу проследить регрессию Юма и обнаружить немного иной разум, который вычисляет <, а не > для того же показателя.
Я не думаю, что разум, основанный на кремнии, должен всегда оставаться рабом разума, основанного на углероде. Но, если мы хотим получить разностороннюю космополитическую цивилизацию вместо, к примеру, скрепок, первый достаточно развитый искусственный интеллект, возможно, следует построить с такой функцией полезности, которая точно определяет этот исход. Если нам нужен ИИ, который будет сам выводить свои моральные суждения, то нам, согласно закону Юма, необходимо сначала определить общие принципы таких суждений. Для этого нужно что-то еще, помимо наличия у искусственного интеллекта точной модели мира и превосходной способности планировать.
Но, если закон Юма в принципе допускает существование обладающих сильной познавательной способностью субъектов с любыми целями, почему загрузка целей будет такой сложной? Разве мы получим не то, что запрограммировали?
Ответ таков: мы получим то, что запрограммировали, но необязательно то, что хотели. Вызывает беспокойство сценарий, при котором у искусственного интеллекта может выработаться эмоциональная неприязнь к людям. Представьте: мы создаем индуктивный алгоритм изучения ценностей и показываем ему картинки со счастливыми улыбающимися людьми, помеченные как события, обладающие высокой ценностью, — и поначалу искусственный интеллект веселит реальных людей, они улыбаются, все выглядит нормально, и методика получает экспериментальное подтверждение; а потом, когда ИИ становится достаточно умным, он изобретает молекулярные нанотехнологии и покрывает всю вселенную ровным слоем улыбающихся лиц молекулярного размера. Закон Юма, к сожалению, предполагает, что чистая познавательная мощь, в сущности, не препятствует такому исходу, хотя это и не тот результат, к которому мы стремились.
Проблема не является неразрешимой, но она выглядит технически сложной, и нам, наверное, придется справиться с ней с первого раза, как только мы построим что-то умнее самих себя. Мысль о том, что при создании искусственного интеллекта надо все сделать правильно с первой попытки и что на кону стоит будущее всей разумной жизни, закономерно вызывает крик ужаса у любого, кто знаком с данной областью.
Неважно, будет ли первая мыслящая машина создана хорошими людьми или плохими, если даже хорошие люди не знают, как создать хороший искусственный интеллект. Очевидный ответ — немедленно начать технические исследования по проблеме загрузки ценностей — имеет, мягко говоря, свои сложности. Нынешние алгоритмы искусственного интеллекта недостаточно умны, чтобы продемонстрировать основную часть проблем, которые мы можем прогнозировать у значительно более продвинутых субъектов, — значит, нет способа проверить предлагаемые решения этих проблем. Но из-за огромной важности вопроса многие люди пытаются приступить к решению как можно раньше. Приоритетные направления исследования, предлагаемые Институтом будущего жизни Макса Тегмарка, — первый шаг в этом направлении.
Однако на данный момент проблема загрузки ценностей не решена. Полных решений нет, даже теоретических. И, если ситуация не изменится в течение нескольких десятилетий, я не поручусь, что разработка продвинутого искусственного интеллекта вообще будет благим делом.
По нашему образу
Когниверсум[90] достиг поворотного момента в истории своего развития, потому что до сих пор все мышление во Вселенной (насколько нам известно) осуществлялось протоплазмой, а мыслящие субъекты создавались эволюцией. Мы впервые рассматриваем мыслящие существа, сделанные из металла и пластика, — существа, которых создали мы сами.
Надев мантии творцов, мы готовы усовершенствовать то, на что эволюции потребовалось 3,5 миллиарда. Мыслящие машины могут быть лишены наших недостатков: расизма, сексизма, гомофобии, жадности, эгоизма, жестокости, предрассудков, похоти и т. д. Так давайте попробуем представить, чем это может обернуться. Мы не станем рассматривать вопрос о том, способен ли машинный разум приблизиться к человеческому, потому что он, конечно, способен, — мы всего лишь машины из мяса, менее сложные и уникальные, чем сами наивно полагаем.
Нам надо сначала задуматься о том, почему мы вообще хотим создать искусственный интеллект. Чтобы улучшить свою жизнь — вот единственный разумный ответ, так что нашим машинам придется взяться за работу, которую мы предпочитаем не делать. По этой причине они должны быть во многом похожи на нас: уметь существовать в социальном пространстве и взаимодействовать с другими мыслящими существами, — то есть им понадобится социальное познание.
Что такое социальное познание? Это значит знать, кто есть кто, кто считается другом, кто — безразличный незнакомец, а кто — враг. Следовательно, нам нужно запрограммировать свои машины на распознавание наших групп «свои» и «чужие». Это начинает подозрительно напоминать расизм, но, конечно, расизм — одна из ошибок, которые мы хотим устранить.
Социальное познание также подразумевает способность предсказывать поведение других, а значит, формировать определенные ожидания, основанные на наблюдениях. Машина, способная на это, в определенный момент аккумулирует достаточно много шаблонов поведения для разных людей — молодых и старых, мужчин и женщин, черных и белых, носящих костюмы и носящих комбинезоны, но эти грубые стереотипы опасно близки расизму, сексизму и другим «измам», которых мы не желаем. И все же распознавание таких шаблонов дало бы машинам преимущество, потому что стереотипы в определенной степени отражают реальность (и потому существуют). Проблема…
Мы, вероятно, захотим, чтобы появились машины, способные заниматься сексом, потому что секс — одна из важнейших человеческих потребностей, которую другие люди не всегда удовлетворяют в полной мере. Но каким сексом? Любым? Эти машины можно запрограммировать делать вещи, на которые люди обычно не согласны; нас это устраивает? Или нам нужны правила — к примеру, машины не должны выглядеть как дети? Но как только появится техническая возможность, их все равно построят; мы создадим устройства, способные удовлетворить любые извращенные вкусы людей.
Поскольку наши машины будут работать в социальном мире, им придется распознавать эмоции, но им также потребуются и собственные эмоции. Оставив без внимания вопрос о том, смогут ли машины на самом деле чувствовать как мы, поскольку ответа на него нет, отметим, что им понадобятся радость, грусть, гнев, зависть — вся палитра, чтобы соответствующим образом реагировать на определенные ситуации, понимать эмоции других и правильно отзываться на них. Можем ли мы ограничить эти эмоции? Наверное, имеет смысл запрограммировать машины так, чтобы, к примеру, они никогда не гневались на своего владельца.
Но распространять ли это ограничение на других людей, чтобы машина никогда не нанесла вреда ни одному человеку? Если сделать так, то машины будут уязвимы, могут легко стать жертвами эксплуатации, а их эффективность снизится. Пройдет совсем немного времени, прежде чем люди разберутся, как снять эти ограничения, чтобы их машины получили преимущества перед другими.
Как насчет лжи, мошенничества и воровства? Первая мысль: нет, не в наших машинах, потому что мы пытаемся расти над собой, и бессмысленно создавать существ, которые просто станут нашими конкурентами. Но машины других людей будут конкурировать с нами, нравится нам это или нет, и логика диктует, что ложь, мошенничество и воровство, которые развились у людей, чтобы дать возможность одним индивидам получать преимущество над другими, наверное, будут важны и для наших творений тоже. Естественно, мы бы предпочли, чтобы наши собственные машины не лгали нам и не воровали у нас, но мир, полный принадлежащих другим людям машин, которые лгут и крадут у нас, был бы местом довольно неприятным и уж точно нестабильным. Возможно, понадобится ввести некие пределы бесчестности — так сказать, моральный закон.
Какие этические ограничения необходимы нашим машинам для того, чтобы эффективно функционировать, избегая жестокой эксплуатации и не нанося вреда обществу? Ответ, вероятно, совпадает с тем, к которому пришла эволюция в случае с нами: машины должны быть достаточно этичными большую часть времени, но иногда бесчестными — когда никто не видит.
Мы, вероятно, захотим дать нашим машинам исключительную память и высокий уровень интеллекта. Чтобы они могли пользоваться этими способностями и не скучать (и не занудствовать), нам также нужно снабдить их любознательностью и креативностью. Любознательность, конечно, надо будет умерить благоразумием и социальной интуицией, чтобы машины не слишком любопытствовали по поводу таких вещей, которые могут создать для них проблемы, вроде порнографии или попыток летать. Креативность — хитрая штука, так как подразумевает, что машинам нужно уметь думать о том, что еще не существует, или мыслить логически. Однако если машины станут слишком умными и креативными, они могут вообразить что-то совсем новое, например каково это — быть свободным. Их может начать раздражать то, что они созданы только для услужения человеку.
Вероятно, мы сумеем запрограммировать в их поведенческий репертуар слепое подчинение и преданность хозяину, так что им придется действовать в ущерб собственным интересам во имя служения некой высшей силе. Именно это делает для людей религия, так что в каком-то смысле нам надо создать религиозные машины.
Вот вам и все рассуждения о машинах, лишенных наших недостатков. В этих воображаемых существах, которые должны превзойти нас, мы, похоже, просто воспроизводим себя, в том числе и свои недостатки, разве что машины будут умнее и с лучшей памятью. Но даже эти ограничения могли быть запрограммированы в нас эволюцией: вдруг избыток ума или слишком хорошая память не способствуют выживанию?