. Этот разработанный частным фондом алгоритм получил название «Оценка общественной безопасности», причем используемые в нем девять факторов и вес каждого из них хорошо известны[169]. Фонд также проводит стороннюю экспертизу влияния оценки.
Это свидетельствует о том, что алгоритмы и программы ИИ, используемые для принятия решений в государственном секторе, возможно, не должны разрабатываться в частном секторе. Как минимум коммерческие организации необходимо обязать обнародовать используемые алгоритмы в определенных обстоятельствах. По мере распространения менее прозрачных программ, таких как нейронные сети глубокого обучения, применять их в подобных контекстах станет невозможно, поскольку никто не сможет понять, как они принимают решения.
Существуют и другие, не столь яркие примеры вредоносного воздействия алгоритмической предвзятости. Созданные на основе ИИ навигационные программы для водителей, например Google Waze, прокладывают маршруты с учетом краудсорсинговых данных о загруженности дорог, что может привести к уплотнению движения в жилых районах и маленьких городах. В городе Леония, штат Нью-Джерси, нерезидентам несколько лет назад запретили пользоваться несколькими дорогами, поскольку система Waze стала направлять через город слишком большое количество автомобилей. Подобным образом навигационные программы, которые при прокладке маршрута учитывают только длину пути, могут предлагать водителям короткие, но более опасные маршруты.
Алгоритмическая предвзятость также наблюдается в некоторых подходах к кредитному скорингу. В частности, в ряде стран, включая Китай, Германию, Индию и Россию, компании разработали методики кредитного скоринга, которые учитывают информацию из социальных сетей. В посвященной этому вопросу статье Atlantic Monthly говорится:
Системы, учитывающие поведение друзей и близких человека, могут возлагать вину за их действия и на него самого, отказывая ему в возможностях из-за грехов его знакомых. Они могут снизить шансы человека на восхождение по социальной лестнице исключительно на основании анализа социальной группы, в которой этот человек находится[170].
В Китае планируется внедрить обязательную систему социальных кредитов, которая, скорее всего, будет наказывать людей за политическое инакомыслие или связи с инакомыслящими. Алгоритмы начисления социальных кредитов в Китае разрабатываются рядом компаний, но в основном держатся в секрете[171].
Подобные алгоритмы предлагается использовать для вынесения решений о допуске иммигрантов в США. После того как президент Дональд Трамп предложил идею «бескомпромиссной проверки», Министерство внутренней безопасности США запросило у системных интеграторов предложения о разработке программного обеспечения, которое будет помогать с вынесением решений о допуске иммигрантов в страну. Программа должна определять, представляет ли потенциальный иммигрант террористическую угрозу или риск для безопасности США или – с другой стороны – имеет ли он высокие «шансы вносить позитивный вклад в развитие общества»[172].
Текущее состояние предложенного программного обеспечения неизвестно, но 54 эксперта по ИИ и разработке программ подписали письмо, в котором говорится, что автоматическое вынесение подобных решений технически невозможно, а результаты работы программы с высокой вероятностью будут необъективными. Любая частная компания, которая возьмется за эту задачу, скорее всего, станет объектом, порождающим серьезные споры.
Последний пример алгоритмической предвзятости – потенциально несправедливая оценка кандидатов при приеме на работу. Само собой, подбор персонала давно считается предвзятым процессом, поскольку рекрутеры и специалисты по подбору кадров часто выбирают кандидатов, с которыми у них есть что-то общее. Сегодня многие компании используют для оценки кандидатов алгоритмы, которые также критикуют за предвзятость и недостаток нейтральности[173]. Как и в других сферах бизнеса и общественной жизни, используемые алгоритмы обычно не раскрываются.
Однако как минимум одна компания разработала программу, которая занимается проблемой дискриминации в процессе подбора персонала. Стартап Pyrmetrics производит оценку кандидатов на основании их показателей при прохождении игр и определяет, кто из кандидатов с наибольшей вероятностью будет демонстрировать высокие результаты в работе. Технология ИИ оценивает игровые показатели кандидатов, не учитывая такие факторы предвзятости, как имя, гендерная принадлежность, цвет кожи, возраст или опыт работы. Стартап уже обслуживает более 50 компаний[174]. Столь ранний успех свидетельствует о том, что многие компании хотят найти объективные методы найма сотрудников, пользуясь преимуществами алгоритмов и ИИ.
Как показывают эти примеры, если игнорировать угрозу алгоритмической предвзятости, многообещающие ИИ-инициативы могут сойти с рельсов. Когда программы машинного обучения (которые почти всегда используют когнитивные технологии, подверженные алгоритмической предвзятости) работают хорошо, они могут значительно улучшать процессы и результаты принятия решений. Поскольку люди также часто предвзяты в своих решениях (что прекрасно известно после присуждения двух Нобелевских премий по экономике за исследования в области поведенческой экономики), машинное обучение предлагает более объективный подход к принятию решений на основании данных.
Чтобы избежать проблемы алгоритмической предвзятости, компании должны:
● делать модели машинного обучения как можно более прозрачными;
● отказываться от использования ИИ-технологий типа «черный ящик», которые невозможно интерпретировать или объяснить;
● отказываться от использования в моделях переменных и характеристик, которые способствуют предвзятости;
● обращаться к сторонним экспертам для оценки моделей на предмет предвзятости;
● исключить возникновение предвзятости из-за изолированности или недостатка данных;
● отказаться от оптимизации единственного бизнес-показателя или результата на основе моделей;
● обязать технических специалистов изучать технические подходы к выявлению и устранению предвзятости[175];
● часто проверять и перестраивать модели, чтобы избежать предвзятости из-за использования старых данных.
Прозрачность и объясняемость ИИ
С проблемой алгоритмической предвзятости связан важный вопрос, касающийся прозрачности ИИ-моделей и способности или неспособности объяснить, каким образом они принимают решения. Как я отметил, в нескольких приведенных мною примерах алгоритмическую предвзятость можно смягчить или устранить, повысив прозрачность моделей. В описанных случаях недостаток прозрачности объяснялся коммерческой выгодой, поскольку компании не хотели раскрывать подробности функционирования их алгоритмов.
Однако есть и более серьезная проблема, характерная для всех когнитивных технологий. Как я подчеркивал в других главах, такие технологии, как глубокое обучение, практически лишают человека возможности узнать, что значат элементы и переменные модели, какое влияние они оказывают на результат и как модель приходит к этому результату. В таких моделях могут содержаться миллионы переменных, не имеющих смысла для человека. Так, невозможно изучить алгоритм глубокого обучения, который в Google использовали для распознавания фотографий кошек в интернете, и увидеть в нем переменные, отвечавшие за распознавание ушей, пушистых мордочек и больших глаз. Мы просто не знаем, как модель находила кошек.
Считать ли это проблемой? Если речь идет о распознавании снимков кошек в интернете, то вряд ли. Какая разница, как именно система производит работу, если она выдает хороший результат? На самом деле существует множество других ситуаций, когда нам не важно, как алгоритм справляется с прогнозированием или классификацией. Хороший пример – цифровой маркетинг. Разве важно, как алгоритм решает, каким именно потенциальным покупателям показать рекламу, если рекламодатель платит за каждое ее размещение всего несколько центов? Важны итоговые результаты, а не процесс их получения.
Однако в некоторых сферах важно знать, как именно работают алгоритмы. Здравоохранение – одна из этих сфер. Узнав, что алгоритм глубокого обучения обнаружил вероятное раковое образование на снимке, врачи и пациенты захотят понять, как именно он пришел к такому выводу. Когда ставки велики, пытливые умы порой не удовлетворяет 99 %-ная точность работы системы. Хорошие объяснения, вероятно, понадобятся также нормативно-правовым органам, регулирующим сферу здравоохранения, и страховым компаниям, которым придется оплачивать лечение рака. Тем не менее пока неясно, как решится эта проблема, потому что в настоящий момент нет возможности объяснить, каким образом глубокое обучение выявляет вероятные случаи рака, хотя технология демонстрирует достаточно хорошие результаты.
Прозрачность чрезвычайно важна и в секторе финансовых услуг – и не только потому что этого требуют регуляторы. Если вам отказали в кредите, после того как алгоритм ИИ решил, что вы не удовлетворяете условиям для его получения, вы захотите узнать, почему это произошло. Если банк отказывает вам в ипотеке, потому что алгоритмы ИИ спрогнозировали, что вы не вернете долг, вы захотите получить объяснение.
Как я упоминал в главе 4, рассказывая о Capital One, банки и другие финансовые организации часто избегают использования такого типа непрозрачных алгоритмов – отчасти из опасения, что регуляторы не одобрят их внедрение. Capital One изучает возможности сделать модели глубокого обучения более прозрачными.