В блоге на платформе Forbes Гил Пресс отмечает, что определенного успеха в этом добилась компания Equifax[176]. Пресс цитирует старшего вице-президента компании по глобальной аналитике Питера Мейнарда, который полагает, что сложные алгоритмы нейронных сетей, используемые для кредитного скоринга, можно сделать прозрачными:
Моя команда решила попробовать найти способ интерпретации нейронных сетей. Мы разработали математическое доказательство возможности создания нейронной сети, которая будет поддаваться интерпретации для соответствия требованиям регуляторов. Каждый элемент входящих данных может отправляться на скрытый слой нейронной сети, поэтому мы разработали набор критериев, позволяющих нам определять атрибуты, попадающие в итоговую модель. Мы открыли черный ящик и получили интерпретируемый результат. Это был настоящий прорыв, ведь никто прежде не делал ничего подобного.
Мейнард утверждает, что нейронная сеть повысила прогнозную способность модели на 15 %. Он также говорит, что компания в результате смогла сообщить регуляторам о возможности безопасного предоставления кредитов тем клиентам, которые не получили бы их в отсутствие подобных моделей.
Учитывая, что прозрачность требуется не всегда, компаниям следует классифицировать свои ИИ-проекты и приложения по степени необходимой прозрачности. Без прозрачности не обойтись, если компания нуждается в одобрении регуляторов, хочет понимать принципы работы моделей, имеет необходимость давать объяснения клиентам и т. п. Если нужен определенный уровень прозрачности, компаниям следует использовать относительно несложные когнитивные инструменты и методы. Простые алгоритмы машинного обучения часто поддаются условной интерпретации, а некоторые системы предоставляют коды причин, которые описывают основные факторы прогнозных или классификационных моделей. Кроме того, существует технология обучения, основанного на правилах, которую можно использовать вместе с некоторыми алгоритмами машинного обучения (но не глубокого обучения), чтобы лучше понимать правила и взаимосвязи в рамках аналитической модели.
Компаниям следует внимательно следить за изменениями нормативно-правовой базы и потребительского восприятия, которые могут оказать влияние на необходимость сделать алгоритмы прозрачными. Так, в Европейском союзе с 2018 г. вступил в силу Общий регламент по защите данных (GDPR), который постулирует право на объяснение, то есть право человека, затронутого компьютерными решениями, знать, почему и каким образом принимались эти решения. Это может существенно сократить использование таких технологий, как глубокое обучение, поскольку они серьезно затрудняют предоставление объяснений, а также обязать объяснять даже принципы функционирования традиционных моделей машинного обучения.
В 2017 г. Danske Bank внедрил модели машинного обучения для прогнозирования случаев мошенничества[177]. Было сложно разработать модели с использованием обучения с учителем, особенно учитывая, что реально случаи мошенничества происходят не так часто. Однако, когда банк все же разработал модель и внедрил механизм скоринга в реальном времени для прогнозирования вероятности мошенничества, ему пришлось объяснять клиентам, почему их транзакции отклоняются из-за подозрений в мошенничестве. Объяснения были необходимы по двум причинам: чтобы заручиться доверием клиентов и чтобы обеспечить выполнение требований GDPR.
Danske Bank использовал метод LIME (метод локально интерпретируемых объяснений моделей любого устройства), чтобы в каждом случае выявлять характеристики или переменные, играющие важнейшую роль при скоринге[178]. Например, перевод денег может быть отклонен из-за подозрения в мошенничестве на основании суммы перевода, страны назначения и среднемесячных расходов клиента, осуществляющего перевод. По запросу клиента ему могут быть названы эти причины. LIME также может работать с моделями глубокого обучения, которые применяются для таких задач, как распознавание изображений, однако в таком контексте интерпретировать результаты сложнее.
Конфиденциальность и защита данных
Искусственный интеллект поднимает ставки в сфере конфиденциальности и защиты данных, отчасти потому, что когнитивные технологии способны раскрывать значительные объемы детализированной личной информации. Например, системы распознавания лиц могут определять, посещал ли человек конкретный магазин или политический митинг. Один ученый из Стэнфорда использовал системы глубокого обучения, чтобы отличать гомосексуалов от гетеросексуалов по фотографиям, ориентируясь только на черты лица[179]. Системы ИИ все лучше прогнозируют состояние здоровья человека и вероятность госпитализации или смерти. Системы машинного обучения могут обрабатывать огромное количество деталей о том, что мы покупаем, смотрим, пишем в социальных сетях и т. д. Многие из нас предпочли бы, чтобы эта информация оставалась конфиденциальной.
Хорошая новость в том, что ИИ можно использовать для устранения угроз кибербезопасности, о чем я расскажу позже. К несчастью, с такой же вероятностью ИИ можно использовать и для кибератак. Подробный анализ кибератак с применением ИИ проводится редко, однако опрос одного из поставщиков технологий показал, что 91 % американских специалистов по кибербезопасности озабочен возможностью использования ИИ для хакерских атак на их компании[180]. По некоторым прогнозам, скоро хакеры и специалисты по кибербезопасности начнут гонку вооружений в сфере ИИ[181].
Что касается защиты данных, пока когнитивные технологии в основном использовались для решения проблемы дефицита специалистов по кибербезопасности. Бум кибератак и нарушений безопасности спровоцировал широкое обсуждение нехватки подобных кадров, а использование технологий ИИ способно покрыть их дефицит. Как правило, инструменты ИИ применяются для оценки и приоритизации киберугроз, которые затем передаются на рассмотрение специалистам. В некоторых компаниях каждый день выявляются тысячи угроз, но специалистов для их рассмотрения не хватает. Вездесущая компьютеризация генерирует слишком много данных для ручной обработки, поэтому возникает идеальная ситуация для применения машинного обучения.
Так, в компании Cadence Design Systems, которая оказывает инжиниринговые услуги и осуществляет разработку программ,
ежедневно накапливается от 250 до 500 гигабайт данных о безопасности, поступающих с более чем 30 000 конечных устройств, находящихся в пользовании у 8200 сотрудников, но их обработкой занимаются всего 15 аналитиков по вопросам безопасности. «Мы получаем лишь часть сетевых данных, – говорит директор компании по информационной безопасности Срини Канчарла. – На самом деле их больше. Чтобы сосредотачиваться на серьезных проблемах и минимизировать их, необходимо использовать машинное обучение и технологии ИИ»[182].
Однако недостаток технологий обеспечения кибербезопасности с помощью ИИ заключается в том, что они генерируют множество ложных сигналов, на которые приходится реагировать людям. В 2017 г. глава отдела кибербезопасности Google Хизер Эдкинс заметила на конференции:
ИИ великолепно справляется с выявлением аномалий, но дает так много ложных сигналов, что определить, какие из сигналов истинные, может только человек. Например, если человек забыл пароль и перебирает 20 вариантов, что это – попытка вспомнить пароль или попытка хакера его подобрать? В настоящее время системе ИИ не под силу отвечать на подобные вопросы[183].
Неудивительно, что разработкой подходов к кибербезопасности на основе ИИ занимаются главным образом технологические компании. Я выступаю консультантом компании Recorded Future, которая использует машинное обучение, чтобы выявлять и интерпретировать «разведданные об угрозах безопасности», получаемые из интернета и других источников. Среди крупных компаний собственный подход к защите конфиденциальности данных на основе машинного обучения разработала Apple (предложенная ею совокупность методов легла в основу принципа дифференциальной приватности). Компания создала несколько новых алгоритмов, которые определяют оптимальный подход к обеспечению конфиденциальности в различных обстоятельствах[184]. Google давно использует автоматическую систему сканирования Bouncer, которая анализирует приложения Android с целью обнаружения вредоносного кода[185].
Компаниям за пределами технологического сектора важно убедиться, что их специалисты по кибербезопасности знают, на что способен ИИ, и подтолкнуть их к изучению инструментов и сервисов на основе ИИ, чтобы облегчить человеческий труд. Однако не стоит полагать, что когнитивные технологии в скором времени полностью заменят специалистов по кибербезопасности.
Доверие и раскрытие информации в сфере ИИ
Печально, что многие люди не доверяют решениям, ответам и рекомендациям искусственного интеллекта. Так, я уже упоминал, что большинство американцев не доверяют беспилотным автомобилям, хотя всем известно, что люди водят не слишком безопасно. В опросе немецких потребителей всего 26 % респондентов сказали, что готовы проехаться в беспилотном автомобиле, и всего 18 % заявили о желании таким автомобилем владеть[186]. Возможно, проблема доверия усугубляется наличием алгоритмической предвзятости, которая обсуждается все шире и чаще