Очевидно, что политическое лидерство – главная цель традиционного государства! – сегодня определяется уровнем развития именно информационных технологий, которые обеспечивают превосходство и в экономике, и в военном деле, и в дипломатии, позволяя анализировать сложнейшие политические ситуации и предлагая решения, загоняющие противников в управленческие тупики. Исследования в сфере искусственного интеллекта идут не параллельно политике и экономике – они определяют и политику, и экономику. Только в традиционной архаической культуре существует еще представление о ценности территорий, и только варвары могут вести за них войны, радуясь, что ценой сотен тысяч человеческих жизней исхитрились прирезать себе еще один кусок бесполезной земли. Сегодня борьба идет за преимущество в технологиях, и эта свирепая драка за цифровой нож в политической и военной грязи была предсказана еще в 2005 году Хьюго де Гарисом в книге «Война артилектов», где он пишет о конфликтах будущего, вызванных изобретениями в сфере информации и алгоритмов.
Проблема только в том, что никто не знает, как эти алгоритмы работают.
Известно понятие технологической сингулярности, введенное в обиход Рэймондом Курцвейлом, которое означает такой уровень развития технологий, при котором они станут непостижимо сложными для понимания человеком. Я бы добавил, непостижимыми для понимания всеми людьми без исключения, в том числе учеными и изобретателями уровня Курцвейла, ибо для обывателя такая сингулярность уже наступила. Сколько человек могут внятно объяснить, как работает их смартфон? Но это еще полбеды; тревожнее то, что в области развития искусственного интеллекта эта сингулярность фактически настала и для специалистов.
Как я уже говорил, система алгоритмов способна к самообучению и совершенствованию, постепенно развиваясь до уровня, недоступному человеку; собственно, казус с ботами Facеbook, заговорившими на своем языке, это частный случай того, что происходит в процессе такого развития. Я прочел о том, как так называемые генетические алгоритмы в ходе работы над тестовыми инженерными задачами изобрели преобразователь напряжения, работавший точнее, чем схема, созданная человеком по тем же спецификациям, при этом – что важно! – никто не мог объяснить, как именно их схема работает, и почему она работает лучше. При генетическом эволюционном программировании код программы логически нечитаем; инженеры не могут ни воспроизвести его, ни понять путь, двигаясь по которому, программа получила конечный результат.
В конечном итоге, люди обменивают понимание процесса на его результативный итог.
Философ Джон Сёрль описал такой феномен через метафору «китайской комнаты». Вкратце ее суть такова: в закрытом наглухо помещении сидит человек, в распоряжении которого множество словарей китайского языка и карточек с иероглифами; в двери комнаты есть отверстие, через которое желающие получить перевод на китайский передают свои тексты. Человек в комнате, предположительно, пользуется словарями и карточками, после чего выдает свой перевод. Смысл в том, что пользователь не знает, владеет ли переводчик в комнате китайским языком или пользуется словарями и карточками; более того, ему это и не важно – ведь он получил результат. Но тут возникает еще одна проблема: если пользователь сам не владеет китайским, то почем ему знать, выдали ему перевод, или просто набор похожих на иероглифы замысловатых каракуль? А если это все-таки перевод, то насколько он хорош?
Расчеты и выводы, сделанные алгоритмами, принципиально непроверяемы. Собственно, для того и нужен искусственный интеллект, чтобы обрабатывать недоступные человеку объемы информации, за минуты делать расчеты, на которые у людей ушли бы тысячи лет, и выдавать результаты, которые в силу вышесказанного не могут быть достигнуты людьми. Одержимый контролем старорежимный начальник может взять отчет подчиненного, да и пересчитать выборочно несколько цифр – дело пустяковое, десять минут на калькуляторе. Проверить вручную правильность формул и макросов в электронной таблице на несколько тысяч ячеек сложнее, но в принципе тоже возможно. Проделать подобный номер с выводами, сделанными на основе расчетов миллиардов опосредованно связанных данных, невозможно. Такие выводы принимаются только на веру, подкрепленную прежними положительными результатами. Хорошо, если они касаются рабочих характеристик экспериментального преобразователя напряжения. А если авиационных двигателей? Политических решений? Общественного здоровья?
И вот еще два реальных примера практических технологий дня сегодняшнего. Первое: во всемирно известном исследовательском центре Allen Institute for Artificial Intelligence создали унифицированную модель искусственного интеллекта Ask Delphi, способного отвечать на вопросы, требующие этических оценок. Он понимает – или считается, что понимает – моральные нормы, способен воспринимать описание реальных ситуаций на естественном языке, рассуждать на основе здравого смысла и, что самое главное, выносить этические суждения, учитывая взаимосвязь между конкурирующими ценностями в разных контекстах. Проще говоря, Delphi может обоснованно решить, хороший вы человек или так себе.
И второе: в Китае судей обязали консультироваться с искусственным интеллектом по каждому делу и давать письменное объяснение в том случае, если они решат отклониться от его рекомендаций. Система, управляемая самосовершенствующимися алгоритмами на основе машинного обучения, автоматически проверяет судебные дела и при необходимости изменяет приговоры, которые считает неправильными.
Таким образом, уже сегодня управление ключевыми элементами человеческой цивилизации в значительной степени передано, и будет, без сомнения, передаваться все больше, технологическим системам, принципы работы которых непостижимы для человека, а правильность выводов и рекомендаций возможно проверить только в процессе практической реализации. Более того, такие системы являются драйвером социальной эволюции человечества, а процесс развития самих систем носит экспоненциальный характер и фактически не может быть остановлен. Об этом очень точно сказал Вернор Виндж:
«Даже если бы все правительства мира осознали угрозу и смертельно ее испугались, прогресс в этом направлении продолжался бы. Более того, конкурентное преимущество – экономическое, военное, даже художественное – каждого нового достижения автоматизации настолько наглядно, что принятие законов или установление традиций, запрещающих подобные вещи, попросту гарантирует, что это сделает кто-то другой».
Человечество как будто бы оседлало неуправляемый летательный аппарат и мчится на нем все быстрее в полную неизвестность, восторгаясь дивными пейзажами по пути и пренебрегая экзистенциальной опасностью с легкомыслием подростков, зацепившихся за крышу скоростного экспресса. На глобальном уровне люди способны осознавать угрозы со стороны климатических изменений и экологических катастроф, планировать международное сотрудничество по преодолению социального неравенства, голода и нищеты, но при этом продолжают считать технологии искусственного интеллекта чем-то вроде бездонного мешка с рождественскими подарками, а основным вопросом, с ними связанным, лишь то, кто будет эти подарки из мешка доставать и раздавать другим.
Полагаю, что есть две взаимосвязанные причины такой парадоксальной близорукости.
Одна – так называемая «ошибка доступности», известное когнитивное искажение, вызванное основанным на опыте подходом к оценке рисков. Проще говоря, это отрицание опасности по принципу «если такого никогда не было, то и не будет». Человек до последнего не верит в возможность катастрофических событий, с которыми раньше не сталкивался; человечество всерьез рассматривает только те угрозы, которые уже были реализованы раньше: война, эпидемия, экологическая катастрофа, голод. Экзистенциальная опасность, исходящая от информационных технологий, не воспринимается, как реальная, потому что ни с чем подобным люди в своей истории не сталкивались. По той же причине, например, несколько десятилетий назад никто и предвидеть не мог таких заболеваний, как компьютерная зависимость или номофобия – вполне реальное психическое расстройство, которое заключается в страхе остаться без мобильного телефона.
Вторая причина имеет схожие психологические основания. Видишь ли, Нина, есть такие предметы, которые в обществе считаются недостойными обсуждения всерьез, хоть они и являются объектом исследования десятков и сотен ученых, и даже – как в случае с цифровыми технологиями – если люди используют результаты таких исследований в повседневной жизни. Обыватель со значением готов обсуждать коррупцию и политические интриги, но, скажем, над поиском инопланетных цивилизаций или реальностью рисков, связанных с искусственным интеллектом, склонен снисходительно посмеиваться. Мне кажется, это связано с популярностью таких тем в индустрии развлечений: за последние несколько десятилетий истории про инопланетное вторжение или восстание машин так часто забавляли публику, что воспринимать их с серьезностью практически невозможно.
Тем не менее, я был убежден, что должны существовать какие-то средства или методы объективного контроля потенциальной опасности, связанной с развитием цифровых алгоритмов, и решил поговорить об этом с Егором.
– Контроль над искусственным интеллектом – иллюзия, – заявил внук. – Просто людям хочется верить, что они как-то могут влиять на процесс, если заинтересованы в его благополучном исходе. Всё, что тут можно придумать – принцип обязательного участия человека, то есть запрет на автономное принятие искусственным интеллектом жизненно важных решений без участия людей. Как ты понимаешь, дед, это фейл.
Я согласился.
– Да, во-первых, трудно определить, в чем люди превосходят машины. Где можно разрешить алгоритмам самостоятельно принимать решение, а где это лучше сделает человек? Предположу, что бесстрастное сравнение возможностей покажет, что человек не лучше нигде. Во-вторых, даже если допустить участие человека, оно будет чисто формальным и не поможет снизить риски, так как машина предлагает решение на основе невычислимого объема данных и непроверяемых расчетов, выполненных неизвестными методами. Тут надо или полностью отказываться от использования машин, или быть готовым отменить их решение просто на основе собственной интуиции; но тогда зачем вообще нужны эти машины?