Чем шире будет распространяться ИИ, тем больше он будет создавать рисков, и по мере развития ИИ необходимо учиться управлять этими рисками.
Ограничения ИИ и управление им
В отличие от предыдущего поколения ИИ, основанных на человеческом понимании реальности, ИИ с машинным обучением моделируют реальность самостоятельно. При этом разработчики не могут попросить ИИ объяснить, чему он научился, как это можно сделать с учеником-человеком. Невозможно узнать, чему именно научился ИИ и как он это сделал, – мы можем лишь наблюдать результаты, которые ИИ выдает после завершения обучения. Это означает, что людям нужно выполнять противоположную работу. Когда ИИ выдает результат, люди должны проверять его, чтобы быть уверенными, что это тот результат, который им нужен.
Иногда ИИ может обнаруживать нечто совершенно неожиданное. Не имея человеческого опыта, ИИ может делать выводы, которые являются истинными, но при этом находятся за границами человеческого понимания. Такие неожиданные открытия ИИ могут ставить людей примерно в то же положение, в каком когда-то оказался Александр Флеминг, первооткрыватель пенициллина, – однажды в его лаборатории плесень случайно заселила чашку Петри, уничтожив болезнетворные бактерии, из чего Флеминг сделал вывод о существовании ранее неизвестного сильнодействующего соединения. Человечество тогда не имело понятия об антибиотиках и не знало, как действует пенициллин. Значение этого открытия трудно переоценить. ИИ делает такие же поразительные открытия, когда находит новые лекарства или новые стратегии победы в игре, – людям при этом остается понять значение этих открытий и интегрировать их в существующее знание.
При этом ИИ не может «осознавать» значение того, что он обнаруживает. На протяжении многих эпох люди переживали уроки, горести и крайности войны, а затем рефлексировали на эти темы – так появились многие величайшие произведения искусства, от «Илиады» Гомера до «Герники» Пикассо. ИИ на это не способен ни с морально-этической, ни с философской точки зрения. Он просто применяет свой метод и выдает результат – банальный или шокирующий, доброкачественный или вредоносный. ИИ не может «почувствовать» себя обязанным «размышлять» о значении своих действий, поскольку он попросту не может мыслить. Поэтому люди должны регулировать и контролировать ИИ.
То, что ИИ неспособен к контекстуализации или человеческой рефлексии, требует особенно пристального внимания к некоторым его недостаткам. Например, известно, что система распознавания изображений Google опознавала изображения людей как животных[29], а животных – как оружия[30]. Эти ошибки любой человек счел бы элементарными, но они ускользнули от внимания ИИ. Зачастую подобные ошибки приходится устранять уже после развертывания систем.
Такие ошибки обусловлены несколькими причинами. Одной из проблем является необъективность данных, используемых для машинного обучения. ИИ не сможет выработать хорошие модели без данных, но критическая проблема заключается в том, насколько эти данные объективны (непредвзяты). Например, системы распознавания лиц часто обучались на наборах данных с непропорционально малым количеством изображений темнокожих людей, что приводило к низкой точности. Имеет значение не только количество, но и охват – неизбежны ошибки, если обучать ИИ на большом количестве очень похожих изображений. Нельзя недооценивать важность обучения маловероятным ситуациям, если они создают высокие риски. Если в наборе данных для обучения автомобилей с автопилотом будет мало таких примеров, как прыжок оленя через дорогу, ИИ не будет знать, как действовать в таких сценариях, – при том что именно в таких случаях он должен работать на пиковом уровне.
Кроме того, необъективность ИИ может быть результатом человеческой предвзятости при подборе обучающих данных. Это может произойти при маркировке выходных данных для контролируемого обучения: если маркировщик допустил ошибку, преднамеренную или нет, ИИ закодирует ее. Другой случай – если разработчик некорректно задает функцию вознаграждения для обучения с подкреплением. Представьте себе шахматный ИИ, обученный на симуляторе, разработчик которого маркировал определенные ходы как предпочтительные. ИИ будет использовать такие ходы, даже если они объективно неудачны.
Конечно, проблема необъективности в технологиях не ограничивается ИИ. Прибор пульсоксиметр, который с начала пандемии COVID-19 стал известен почти каждому, поскольку служит для измерения двух важнейших показателей здоровья – пульса и насыщения кислородом, завышает насыщение кислородом у темнокожих людей. Дело в том, что он ориентируется на степень поглощения света тканями и, считая показатели поглощения светлой кожей «нормальными», фактически предполагает, что показатели поглощения темной кожей «ненормальны». В пульсоксиметре нет ИИ, но даже такой простой прибор необъективен по отношению к значительной части населения. Нам обязательно нужно понимать ошибки ИИ – и не прощать их, а исправлять. Необъективность пронизывает все аспекты человеческого общества, и это серьезная проблема, с которой нужно бороться.
Другой источник ошибочной идентификации – ненадежность ИИ. Рассмотрим случай ошибочного распознавания животного как оружия. Изображение вводит ИИ в заблуждение, потому что оно содержит тонкие характеристики, невидимые для человека, но заметные для ИИ, которые сбивают ИИ с толку. ИИ не обладает «здравым смыслом», он может смешивать два объекта, которые человек различает легко и быстро. Уровень проверки ИИ и режимов его соответствия требованиям на момент подготовки этой книги не особенно высок, поэтому зачастую возникают совершенно неожиданные ошибки. В реальном мире вред, нанесенный неожиданным сбоем ИИ, может быть очень велик, а устранение последствий такого сбоя – слишком трудоемко, поскольку обществу сложнее бороться с тем, чего оно не ожидало.
Ненадежность ИИ отражает недостаток глубины обучения современных ИИ. Зависимости между свойствами входных и выходных данных, получаемые при контролируемом обучении или обучении с подкреплением, значительно отличаются от подлинно человеческого понимания – с его многочисленными уровнями концептуализации и опыта. Ненадежность также отражает факт отсутствия сознания у ИИ. Поскольку ИИ не является разумным, он не знает, чего именно он не знает, и не может избегать ошибок, очевидных для человека. Неспособность ИИ самостоятельно контролировать корректность своей работы говорит о жизненной важности разработки методов тестирования, позволяющих человеку определять пределы возможностей ИИ, анализировать сценарии, предлагаемые ИИ, и предсказывать, когда ИИ может потерпеть неудачу.
Аналогично, жизненно важно создать процедуры оценки того, работает ли ИИ так, как ожидалось. Пока движущей силой ИИ будет машинное обучение, люди по-прежнему не будут знать, чему учится ИИ, и не будут понимать, откуда он знает то, чему научился. Само по себе это нормально – человеческое обучение часто бывает таким же непрозрачным. Художники и спортсмены, писатели и механики, родители и дети – да, собственно, все люди часто действуют интуитивно и не могут сформулировать, что и откуда они знают. Именно поэтому общество разработало для людей множество программ профессиональной сертификации, правила и законы. Аналогичные методы могут быть применены к ИИ, причем общество может разрешить использование ИИ только после того, как создатели продемонстрируют его надежность в процессе тестирования. Поэтому важной задачей общества станет разработка программ «профессиональной сертификации», комплаенса и надзора для ИИ, а также обеспечение необходимой аудиторской экспертизы.
В промышленности существует широкий диапазон режимов проверки продукции перед ее эксплуатацией. Если разработчики приложений часто торопятся выпустить свой продукт на рынок, исправляя его недостатки в режиме реального времени, то аэрокосмические компании тщательнейшим образом испытывают свои самолеты до того, как хоть один человек ступит на борт. Эти различия зависят от множества факторов, включая степень риска, присущую отрасли, нормативный надзор и рыночные силы. Аналогичная картина, вероятно, будет иметь место и для различных ИИ, причем ИИ для автомобилей с автопилотом будет, по всей видимости, подлежать более жесткому надзору, чем ИИ для развлекательных платформ и соцсетей вроде TikTok.
Такой режим тестирования возможен для ИИ, которые обучаются до ввода в эксплуатацию. Если же ИИ продолжает учиться в процессе эксплуатации, он может демонстрировать неожиданное или нежелательное поведение, как это произошло с чат-ботом Microsoft Tay в 2016 г. Столкнувшись в интернете с проявлениями ненависти, Tay тут же начал подражать им и вскоре был отключен. Благодаря тому что эволюция большинства ИИ по завершении обучения останавливается, обученные модели (то есть параметры нейронной сети) в дальнейшем не меняются. Это позволяет тестировать ИИ, не опасаясь того, что после ввода в промышленную эксплуатацию он начнет вести себя неожиданным или нежелательным образом. Когда алгоритм фиксирован, автомобиль с автопилотом, обученным реагировать на сигналы светофора, не может внезапно «решить» проехать на красный свет. Это делает возможным всесторонние испытания и сертификацию ИИ – инженеры могут проверять поведение автопилота с ИИ в тестовой среде, прежде чем устанавливать его на реальный автомобиль, где ошибка может стоить жизни. Это не означает, что ИИ не будет вести себя неожиданным образом, если его поставить в новые условия, это означает только то, что предварительная проверка работы ИИ возможна. Еще одна возможность проверки качества – аудит наборов данных. Убедившись в том, что ИИ для распознавания лиц обучается на разнообразных наборах данных или что чат-бот использует для обучения тексты, из которых исключены проявления ненависти, разработчики могут понизить вероятность того, что ИИ даст сбой при вводе в эксплуатацию.