овится невозможно «отрезать» крошечный кусочек реального мира, положить его, так сказать, на блюдечко и вручить роботу. Помощь людям все чаще подразумевает работу в реальном мире, где приходится взаимодействовать с реальными людьми и осмыслять их поведение. То есть «людей» так или иначе необходимо вставить в уравнения, которыми оперирует ИИ.
Беспилотные автомобили уже стали явью. Им придется делить дороги с транспортными средствами, которыми управляют люди, и пешеходами и научиться находить компромисс между стремлением доставить пассажира к месту назначения как можно быстрее и вниманием к поведению других водителей. Личным помощникам предстоит научиться пониманию того, когда и в каком объеме действительно нужна помощь, какие типы задач мы предпочитаем выполнять самостоятельно, а какие готовы уступить. СППР (система поддержки принятия решений) и медицинская диагностическая система должны объяснять нам свои рекомендации, причем так, чтобы мы поняли и могли их проверить. Автоматизированным преподавателям придется определять, какие примеры будут информативными или наглядными – не для их коллег-машин, а для нас, людей.
Заглядывая в будущее, вот что мы видим: если нам хочется, чтобы высокопроизводительные ИИ были совместимы с людьми, нельзя разрабатывать их изолированно от людей, а затем пытаться внедрить в общество; скорее, следует исходно проектировать ИИ, «совместимый с человеком». Людей нужно учитывать изначально.
В случае реальных роботов, помогающих реальным людям, типовое определение ИИ оказывается неудовлетворительным сразу по двум важным причинам. Во-первых, изолированная оптимизация роботической функции вознаграждения отличается от оптимизации в условиях взаимодействия с людьми, поскольку люди сами взаимодействуют между собой. Мы принимаем решения для удовлетворения собственных интересов, и эти решения диктуют нам, какие действия предпринимать. Вдобавок мы осмысливаем поведение роботов, то есть реагируем на то, что, как нам кажется, они делают или намерены сделать, и оцениваем их возможности. Какие бы действия робот ни совершал, они должны сочетаться с нашими собственными. Перед нами проблема координации.
Во-вторых, именно человек в конечном счете определяет, какой должна быть функция вознаграждения робота. Награда призвана мотивировать робота к поведению, которое соответствует желаниям конечного пользователя, проектировщика машины или общества в целом. На мой взгляд, дееспособным роботам, действия которых будут выходить за рамки узко поставленных задач, придется это понять, чтобы прийти к совместимости с людьми. Перед нами проблема выравнивания значений.
Разрабатывая роботов для решения конкретных задач, легко поддаться искушению и начать воспринимать людей как абстракции. Например, личному роботизированному помощнику надо знать, как двигаться, чтобы брать нужные предметы, и мы описываем эту задачу изолированно от людей, для которых робот будет подбирать предметы. Но мы не хотим, чтобы робот в процессе движения сталкивался с обстановкой и людьми, поэтому можно включить физическое местонахождение человека в определение состояния робота. То же самое верно для автомобилей: мы не хотим, чтобы они сталкивались с другими автомобилями, поэтому наделяем их способностью отслеживать положение других автомобилей и предполагаем, что они будут последовательно двигаться в одном направлении. В этом смысле человек для робота ничем не отличается, скажем, от шара, катящегося по плоской поверхности. Шар в следующие несколько секунд будет вести себя точно так же, как и в предыдущие несколько секунд; он продолжает катиться в том же направлении приблизительно с той же скоростью. Это, конечно, ни в коей мере не похоже на реальное человеческое поведение, но подобные упрощения позволяют многим роботам успешно решать поставленные перед ними задачи и по большей части не мешать людям. Тот же домашний робот, к примеру, может заметить, что вы идете по коридору, отъехать в сторону, пропуская вас, и возобновить уборку после вашего ухода.
Однако по мере повышения дееспособности роботов умения всего-навсего воспринимать людей как постоянно движущиеся препятствия становится недостаточно. Ведь перестроения водителя-человека из ряда в ряд на дороге не подразумевают последовательного движения в том же направлении, пусть он и продолжит двигаться прямо после перестроения. Когда тянешься к чему-то, нередко натыкаешься на другие предметы и перебираешь их, пока не отыщешь нужный. Когда идешь по коридору, то движешься к пункту назначения: можно повернуть направо, в спальню, или налево, в гостиную. Предположение, будто мы ничем не отличаемся от катящегося шара, провоцирует неэффективную реакцию: робот отодвигается, когда в этом нет необходимости, и может подвергнуть себя опасности, когда поведение человека меняется. Даже чтобы вовремя отодвигаться, роботам нужна известная точность в предвидении человеческих действий. В отличие от катящегося шара, люди совершают действия в зависимости от принимаемых решений. Значит, чтобы предвидеть действия человека, роботы должны вникнуть в суть процесса принятия человеческих решений. Не следует исходить из допущения, что человеческое поведение всегда сугубо оптимально; этого может быть достаточно для робота, играющего в шахматы или в го, но в реальном мире решения людей предсказуемы намного меньше, чем оптимальный ход в настольной игре.
Потребность в понимании действий и решений человека является одинаково насущной для материальных и нематериальных роботов. Если тот или другой исходят в своих решениях о способах действия из допущения, что человек будет делать одно, а сам человек делает что-то иное, такое разногласие во мнениях может закончиться катастрофически. Применительно к автомобилям это может быть авария. А применительно к ИИ, ведущему, скажем, финансовую или экономическую деятельность, несоответствие ожиданий и реальных поступков может иметь еще более худшие последствия.
Как вариант, робот может не пытаться предугадывать наши действия; он будет лишь стремиться к предотвращению наихудших последствий человеческих действий. Зачастую это приводит к тому, что роботы перестают приносить максимальную пользу. Например, беспилотный автомобиль просто замирает на месте, ибо каждое движение чревато чрезмерным риском.
В итоге сообщество исследователей ИИ оказывается в тупике. Предполагается, что роботам необходимы точные (по крайней мере, разумно точные) прогностические модели человеческого поведения. Описание состояний не сводится к простой фиксации физического местоположения людей. Нужно также учитывать «внутренние» особенности. Нужно проектировать роботов, которые в состоянии оценивать такие «внутренние» состояния, что довольно затруднительно. К счастью, люди склонны давать роботам подсказки о своих «внутренних» состояниях: их текущие действия позволяют роботам предсказывать (по методу байесовского вывода[111]) дальнейшие намерения. Если мы движемся по правой стороне коридора, то, вероятно, свернем в комнату справа.
Ситуация осложняется тем обстоятельством, что люди не принимают решений изолированно. Одно дело, научись роботы предсказывать действия конкретного индивида и сообрази, как поступать в ответ. К сожалению, такая практика способна породить «ультраосторожных» роботов, сбивающих людей с толка. (Вспомните, к слову, нерешительных водителей на нерегулируемых перекрестках.) Практика прогнозирования намерений не учитывает того факта, что в момент, когда робот совершает действие, он оказывает влияние на последующие действия человека.
Роботы и люди взаимно влияют друг на друга, и роботы должны научиться ориентироваться в этом пространстве влияний. Ведь далеко не всегда речь о роботе, взаимодействующем с людьми; речь и о людях, взаимодействующих с роботами. Важно, чтобы роботы помнили об этом, принимая решения относительно своих действий, будь то на дороге, на кухне или даже в виртуальном мире, где действиями могут выступать покупка товаров или внедрение новой идеи. Следовательно, роботам необходима координационная стратегия, которая позволит им принимать участие в переговорах, ведущихся людьми беспрепятственно изо дня в день – кто первым проедет перекресток, кого пропустят вперед у двери, кто чем занимается, когда совместно готовят завтрак и т. д., вплоть до определения следующих шагов в развитии какого-то проекта.
Наконец, точно так же, как роботам нужно предвидеть дальнейшие поступки людей, людям придется учиться предугадывать действия роботов. Вот почему важна прозрачность отношений. Необходимы надежные ментальные модели человеческого и роботического поведения. Модель робота, присутствующая у человека, должна входить в наши описания состояний, а робот должен понимать, как его действия изменят эту модель. Подобно тому как робот рассматривает человеческие действия как ключи к «внутренним» состояниям человека, люди изменяют свои представления о роботах, наблюдая за действиями последних. К сожалению, роботам несвойственно полагаться на подсказки в той же мере, в какой к этому склонны люди; ведь у нас в избытке практики неявного общения с другими людьми. Но если роботы научатся учитывать изменения вследствие своих действий в ментальной модели человека, это может способствовать более тщательному осмыслению действий, содержащих правильные подсказки – то есть таких, которые прямо сообщают людям о намерениях робота, его функциях вознаграждения и ограничениях. Например, робот может изменить направление движения при перемещении тяжестей, чтобы показать, как ему непросто маневрировать при работе с тяжелыми предметами. Чем больше люди будут знать о роботах, тем проще станет координировать действия.
Для достижения совместимости от роботов потребуется умение предвидеть человеческие поступки и осознавать, как эти поступки повлияют на их собственные действия, а людям придется научиться предугадывать действия роботов. Текущие исследования в этой области достигли определенного прогресса, но нам еще предстоит сделать очень и очень многое.