Второй миф – миф о замещении, идея о том, что машины начнут постепенно брать на себя все выполняемые людьми задачи. Этот миф является родившейся в XX веке версией того, что я называю феноменом железной лошади. Первоначально люди воображали, что железные дороги сведут на нет необходимость в лошадях, но поезда показали себя весьма неважными лошадьми. Железные дороги прочно заняли свое место, когда люди научились делать с их помощью совершенно новые вещи. Исследователи человеческого фактора и ученые-когнитивисты утверждают, что автоматы крайне редко просто «механизируют» человеческие задачи. Скорее, они имеют тенденцию делать задачу более сложной, зачастую повышая рабочую нагрузку (или перераспределяя ее). Дистанционно управляемые летательные аппараты не выполняют те же самые задания, что и аппараты, управляемые людьми; они берут на себя новые функции. Дистанционно управляемые роботы на Марсе не повторяют работу геологов-разведчиков в полевых условиях; они и работающие с ними люди учатся вести полевые исследования в новой обстановке с использованием дистанционных механизмов.
Наконец, у нас есть третий миф – миф о полной автономности, утопическая идея о том, что сегодня или в будущем роботы смогут действовать полностью самостоятельно. Да, автоматы, конечно, могут взять на себя часть задач, ранее выполняемых людьми, и они действительно способны в течение некоторого ограниченного периода времени действовать самостоятельно в ответ на изменения окружающих условий. Но машины, которые не зависят от указаний человека, – это бесполезные машины. Только камень может быть действительно автономным (но даже камень был создан и помещен на свое место благодаря окружающей его среде). Автоматизация изменяет степень вовлечения человека в работу машины, но не устраняет необходимость в нем полностью. В любой, даже автономной с виду системе мы всегда можем найти интерфейс, благодаря которому человек может контролировать ее работу, считывать информацию и благодаря которому она становится полезной. Если процитировать один из последних докладов научного совета Министерства обороны США, «не существует полностью автономных систем, так же как и не существует полностью автономных солдат, моряков, летчиков или морских пехотинцев».
Чтобы мыслить терминами XXI века и изменить свои взгляды на робототехнику, автоматизацию и в особенности на более новую идею об автономности, мы должны вникнуть в то, как намерения, планы и предположения человека меняют суть создаваемой им машины. Каждый оператор, контролируя свой аппарат, взаимодействует с конструкторами и программистами, чье присутствие в машине неизменно – пусть даже в виде элементов конструкции или строчек кода, созданных много лет назад. Бортовые компьютеры рейса 447 авиакомпании Air France могли продолжать управлять самолетом и в условиях ограниченных данных о скорости воздушного потока, но люди запрограммировали их таким образом, чтобы они этого делать не могли. Даже если программное обеспечение предпринимает действия, которые невозможно предсказать, оно ведет себя в рамках схем и ограничений, заложенных его создателями. То, как система разработана, кем и для каких целей, определяет ее возможности и способы взаимодействия с людьми, которые ее используют.
Моя цель – уйти от этих мифов и осмыслить концепцию автономности в контексте XXI века. Посредством историй, которые будут рассказаны ниже, я намереваюсь придать общественным обсуждениям иную форму и создать концептуальную карту новой эры.
Для создания такой карты, говоря об аппаратах и роботах в этой книге, я буду оперировать понятиями управляемый человеком, дистанционный и автономный. Первое – аналог не всегда уместного слова «пилотируемый», поэтому в некоторых случаях «управляемый» будет означать «управляемый человеком, находящимся в аппарате». Речь, конечно, идет о старых и хорошо знакомых типах аппаратов, таких как корабли, самолеты, поезда и автомобили, – машинах, посредством которых люди путешествуют. Обычно управляемые человеком системы вообще не считаются роботами, хотя все больше и больше напоминают роботов, внутри которых сидят люди.
Понятие «дистанционный» – сокращенный вариант термина «дистанционно управляемый аппарат» – просто указывает на то, где находится оператор по отношению к аппарату. Даже когда когнитивная задача по управлению дистанционной системой практически полностью совпадает с той, которую непосредственно осуществляет присутствующий физически оператор, наличию или отсутствию оператора и сопряженным с этим рискам придается большое культурное значение. Самый яркий пример – дистанционное ведение войны в тысячах километров от зоны боевых действий. Это опыт, полностью отличающийся от задач обычного солдата. Как когнитивный феномен присутствие человека переплетается с социальным аспектом.
Автоматизация также является идеей XX века и все еще отражает механистическое представление о том, что машины шаг за шагом выполняют заранее заданные процедуры. Термин «автоматизированный» обычно используется для описания компьютеров на воздушных судах, хотя в них заложены современные, довольно сложные алгоритмы. Автономность – более модное в наше время слово и один из главных приоритетов в исследованиях постоянно сокращаемого Министерства обороны США. Некоторые исследователи четко разграничивают автономность и автоматизацию, но, на мой взгляд, отличие автономности заключается только в более широкой степени самостоятельного принятия решений, нежели простая обратная связь; кроме того, понятие «автономность» охватывает и объединяет множество идей, заимствованных из теории искусственного интеллекта и других дисциплин. И, конечно, идея автономности отдельных существ и групп становится причиной постоянных споров в политике, философии, медицине и социологии. Это не должно вызывать удивления, ведь технические специалисты для описания своих машин зачастую заимствуют термины из социальных наук.
Даже в рамках конструкторского дела термин «автономность» может иметь несколько разных значений. Автономность в проектировании космических кораблей заключается в обработке на борту данных, которые необходимы для функционирования аппарата (независимо от того, является ли он совершающей полет по орбите автоматической станцией или мобильным роботом), отдельно от таких задач, как планирование миссии. В Массачусетском технологическом институте, где я преподаю, содержание инженерных курсов по автономности покрывает в основном «планирование пути» – как добраться из одной точки в другую, затратив на это адекватное количество времени и ни во что не врезавшись. В других системах автономность аналогична интеллекту, способности принимать решения, которые в тех или иных ситуациях принял бы человек, или способности действовать в условиях, которых не ожидали или не предвидели создатели аппарата. Автономные подводные аппараты называются так, потому что действуют сами по себе и противопоставляются дистанционно управляемым аппаратам, которые соединяются с судном длинными кабелями. Несмотря на это, инженеры, создающие такие автономные подводные судна, говорят, что их аппараты являются полуавтономными, поскольку лишь в редких случаях действуют без какого-либо контакта с оператором.
Термин «автономный» подразумевает бо́льшую свободу действий. Он описывает способ управления аппаратом, а это – потенциально изменчивый фактор. В одном из последних исследований предлагается термин «возрастающая автономность»: таким образом авторы подчеркивают относительную природу автономности и заявляют о том, что «полная» автономность, то есть машины, которым не требуется получать информацию от человека, всегда будет недостижима. В данной книге рабочее определение автономности будет таким: разработанные человеком средства преобразования информации, получаемой из окружающей обстановки, в целенаправленные планы и действия.
Формулировки имеют значение, и они придают спорам другой оттенок. Но нам не стоит на них зацикливаться. Я буду часто опираться на формулировки (которые иногда могут быть неточными), используемые людьми, с которыми я работаю. Смысл этой книги заключается не в определениях, а в описаниях реальной работы – того, как люди используют эти системы в реальном мире, получая новый опыт, исследуя или даже сражаясь и убивая. Что происходит на самом деле?
Если уделять внимание живому опыту конструкторов и тех, кто пользуется роботами, то все может проясниться. Например, слово «дрон» позволяет скрыть человеческую по своей сути природу роботов и приписывает их отрицательные стороны абстрактным идеям, таким как «техника» или «автономность». Когда мы изучим внутреннюю кухню операторов «Предейтора», мы узнаем, что они не ведут войну при помощи автоматических устройств – люди все еще изобретают машины, программируют их и управляют ими. Можно долго обсуждать этику и политику дистанционных убийств, совершаемых беспилотными летательными аппаратами с удаленными операторами, или сохранение в тайне подобных устройств, действующих во внутреннем воздушном пространстве США. Но эти споры связаны с сущностью, местом и временем человеческих решений, а не с действующими автономно машинами.
Следовательно, вопрос не в противопоставлении пилотируемых и беспилотных аппаратов и не в противопоставлении управляемых человеком аппаратов автономным. Главные вопросы этой книги: «Где находятся люди?», «Кто эти люди?», «Что они делают?», «Когда они делают это?».
Где находятся люди? (На судне… в воздухе… внутри машин… или в офисе?)
Манипуляции оператора «Предейтора» сродни действиям пилота самолета – он отслеживает состояние бортовых систем, воспринимает информацию, принимает решения и совершает определенные шаги. Но его тело находится в другом месте, возможно, в нескольких тысячах километров от результатов его работы. Эта разница имеет значение. Задачи отличаются. Риски разные, и соотношение сил тоже.
Человеческий разум способен совершать путешествия в другие места, другие страны, на другие планеты. Знание, полученное через разум и чувства, отличается от знания, полученного через тело (где вы едите, спите, общаетесь, испражняетесь). То, какому из двух путей получения знания следовать, мы решаем в зависимости от конкретной ситуации, и это имеет свои последствия для тех, кто вовлечен в процесс.