[257]. Представляется вероятным, что мы будем заняты видеоиграми и телефонными разговорами, а не наблюдать ястребиным взором за системами, — возможно, не в первую нашу поездку на беспилотном автомобиле, но в сотую точно уж.
И когда компьютер передает контроль водителю, он вполне может это делать в самых экстремальных и сложных ситуациях. У пилотов Air France было 2-3 минуты на троих, чтобы разобраться с указаниями автопилота. Каковы шансы, что когда борткомпьютер автомобиля предупредит об отключении автоматического режима, мы оторвемся от смартфонов, чтобы увидеть несущийся по встречной автобус?
Ануж Прадхан выдвинул идею о том, что люди должны иметь за плечами несколько лет опыта самостоятельного вождения, прежде чем получить право управлять автономным автомобилем. Однако сложно понять, как это решит проблему. Неважно, сколько лет опыта у водителя, он будет постепенно терять навыки, если передаст управление компьютеру. Предложение Прадхана сочетает два худших фактора: мы разрешаем подросткам лихачить на автомобилях с ручным управлением, где они с большей вероятностью попадут в аварию. И даже когда они достигнут мастерства, им, как пассажирам обычно надежного автономного автомобиля, не понадобится долго ждать, прежде чем они из асов превратятся в дилетантов.
Вспомним, что говорил Эрл Винер: «Цифровые устройства исправляют незначительные ошибки, создавая возможности для крупных»[258]. В случае с автопилотами и автономными транспортными средствами можно добавить: это происходит именно по той причине, что незначительные ошибки исправляются. Лишенные обратной связи, любых несерьезных проблем, которые позволяли нам сохранять наши навыки, в кризисных обстоятельствах мы обнаруживаем себя совершенно неподготовленными.
Каждое применение идеи Винера о крупных и маленьких ошибках предусматривает компромисс. GPS-навигатор регулярно избавляет меня от побочных хлопот, связанных с подготовкой к поездке, но иногда отправляет меня в сельскую церковь прямо перед свадебной церемонией. Стоит ли случайное разочарование сэкономленного времени? С учетом того, что я вновь начал доверять навигатору, я могу заключить, что стоит.
Когда речь заходит об упорядоченных базах данных, компромисс чреват последствиями. Автоматизация упрощает наказание за нарушения парковки и удерживает потенциальных террористов подальше от самолетов. Но она создает ситуации, в которых люди должны отстаивать неправдоподобные истории: «Я не нарушал правила парковки, я стоял в пробке» или «Это не террористическая группировка, это ассоциация выпускников». Оправдывает ли более эффективное обслуживание в большинстве случаев вовлечение небольшой группы людей в сражения против бюрократии в стиле Кафки? На этот вопрос непросто ответить. Но сам факт его наличия говорит, что нужно прислушиваться к людям, которые утверждают, что стали жертвами редкой и необычной ошибки, и создавать механизмы быстрого устранения этих ошибок.
С системой fly-by-wire гораздо легче оценить стоимость компромисса. До конца 1970-х можно было уверенно ждать как минимум 25 смертельных крушений коммерческих самолетов в год. В 2009 году рейс Air France 447 был одним из восьми произошедших крушений — исторический рекорд! Анализ затрат и выгод кажется очевидным: страшные катастрофы вроде рейса 447 оправдывают свою цену — твердая кремниевая рука компьютера предотвратила многие другие.
Однако по-прежнему нельзя не задаться вопросом, есть ли способ совместить адаптируемость, здравый смысл и интуицию человека с надежностью компьютеров с целью дальнейшего сокращения количества происшествий. Один из приоритетов мог включать создание полуавтоматизированных систем, которые осуществляют обратную связь более явным образом. Экипажу рейса 447 Air France 75 раз сказали, что самолет заваливается — STALL, STALL, STALL, но они не чувствовали этого интуитивно. Если бы на экранах появилось огромное изображение самолета с носом, направленным вверх, это бы отобразило опасность. Схожим образом рычаги системы управления не повторяли действия пилотов, поэтому старший пилот не осознавал, что Бонэн отменял его решения. Систем объявила, что пилоты давали самолету противоречивые инструкции, но ее проигнорировали — более явное предупреждение, возможно, привлекло бы внимание.
Некоторые старшие пилоты требуют, чтобы их младшие коллеги иногда выключали автопилоты, поддерживая тем самым свои навыки. Это кажется хорошим советом. Но если младшие пилоты будут выключать автопилот только в безопасных ситуациях, это значит, что они не будут практиковаться в сложных ситуациях. И если они выключат автопилот в трудных условиях, то могут спровоцировать ту самую катастрофу, которой всеми силами старались избегать.
Альтернативное решение — поменять роль компьютера и человека. Вместо того чтобы позволять компьютеру управлять самолетом с человеком, готовым перенять контроль в тех случаях, когда компьютер не может справиться, возможно, будет лучше позволить человеку управлять самолетом, а машина будет отслеживать ситуацию, готовая вмешаться в нужный момент. В конце концов, компьютеры не устают, терпеливы и не нуждаются в практике. Так почему мы просим людей наблюдать за машинами, а не наоборот? Именно так вели себя лучшие метеорологи в исследовании Ребекки Плиске: человек составлял прогноз и затем просил машину предоставить второе мнение. Подобное решение не будет работать во всех областях, но его стоит изучить.
Если нам приходится заставлять людей контролировать компьютеры, важно удерживать интерес этих людей и допустить в процесс безопасную долю хаоса. Самолеты — лишь один пример автоматизированных систем, за которыми наблюдают люди: есть склады с роботами-погрузчиками, высокоскоростные поезда и военные дроны США. Наблюдение за дроном представляется потрясающей работой, но на деле она смертельно скучна большую часть времени. Дрон может кружить над Афганистаном, пока оператор грызет M&M's на военно-воздушной базе Крич в Индиан-Спрингс (Невада), одним глазом посматривая на экран, — до тех пор, пока ему не придется встрепенуться и решить, убивать ли потенциальную цель.
Познакомьтесь с Мэри «Мисси» Каммингс, одной из первых женщин-пилотов ВМС США, а ныне экспертом в области управляемых человеком полуавтономных машин. Мэри Каммингс и ее команда проводили эксперимент, во время которого пилотам дрона поручали длительную и зачастую скучную имитацию полета, во время которого возникали жизненно важные ситуации. Глядя на изображения низкого качества, поступающие с четырех различных дронов, вводя навигационные указания в компьютер и ожидая дальнейших событий, пилоты зачастую отвлекались. Они сидели с книгой или ноутбуком, поглядывая то на задание, то на что-то более интересное (такая отвлекаемость не запрещалась, но и не поощрялась исследователями, которые хотели получить картину реального поведения людей).
Как и следовало ожидать, ученые увидели, что время реагирования и показатели резко ухудшались по прошествии некоторого времени. Но они также наблюдали, что многие из самых успешных операторов применяли интересную тактику. Вместо того, чтобы заставлять себя сосредотачиваться на задании или пытаться одновременно выполнять работу и проверять почту, они отвлекались на короткие промежутки. Отвернувшись на пару минут от мониторов, операторы занимались абсолютно отвлеченными делами, и это давало им новый заряд энергии, когда они возвращались к заданию.
Подобное поведение предполагает, что, когда людей просят присматривать за компьютерами, в саму систему должно быть заложено определенного рода разнообразие. Предпочтительнее будет даже содержать автоматизированную сеть, которая требует участия человека в большем количестве случаев — даже когда оно не критически необходимо[259]. Если время от времени возникает обстановка, в которой нужна людская способность управления хаосом, есть резон искусственно создавать беспорядок — просто чтобы держать людей начеку.
В середине 1980-х голландский специалист по дорожному движению Ганс Мондерман отправился в деревню Оудехаске в связи с гибелью двоих детей под колесами автомобилей. Ручной радар Мондермана сразу же показал, что водители слишком быстро проезжали через деревню. Он обдумывал традиционные решения — светофоры, лежачие полицейские, дополнительные знаки, надоедливо просящие водителей сбросить скорость. Эти способы были дорогостоящими и, по опыту Мондермана, зачастую неэффективными. Ограничительные меры вроде светофоров и лежачих полицейских раздражают водителей, и они зачастую разгоняются до опасной скорости между подобными объектами.
Поэтому Мондерман опробовал нечто революционное. Он предложил, что дорога через Оудехаске должна стать похожей на то, чем она на самом деле являлась — дорогой через деревню. Во-первых, имеющиеся дорожные знаки были убраны. Знаки всегда раздражали Мондермана: проезжая по своей родной стране с писателем Томом Вандербильтом, он однажды высказался против их избыточности. «Ты действительно считаешь, что никто не поймет, что там мост?» — спросил он, указав на знак, оповещающий о приближении к архитектурному объекту[260]. Знаки якобы просят водителей замедлиться. Однако, утверждал Мондерман, поскольку знаки являются универсальным языком дорог по всему миру, на более глубоком уровне воздействие от их присутствия заключается в том, что они просто уведомляют водителей, что они находятся на дороге — и эта дорога похожа на любую другую дорогу, где господствуют машины. Мондерман хотел напомнить им, что они также находились в деревне, где могут играть дети.
Далее он заменил асфальт покрытием из красного кирпича, а возвышающийся бордюр — гладким тротуаром с водосточными канавками с мягкими изгибами. Теперь водители могли съехать с дороги, но предпочитали этого не делать.
Если раньше человек за рулем, образно говоря, пролетал сквозь деревню на автопилоте, не уделяя в действительности внимания тому, что делал, то при встрече с хаосом был вынужден подключать мозг. Было сложно точно узнать, что делать или где ехать, или какое пространство принадлежит машинам, а какое — деревенским детям. Как Том Вандербильт описывает стратегию Мондермана, «вместо ясности и четкого разделения он создал замешательство и неопределенность»