Есть еще вопрос о том, какими ценностями обладают машины и какому господину они служат. Многие — хотя и не все — решения предполагают наличие определенных убеждений и ценностей. Их машинам тоже придется их привить, а следовательно, они будут зависеть (по крайней мере, первоначально) от ценностей тех людей, которые их конструируют и управляют ими. «Беспилотники» создаются для того, чтобы атаковать и наблюдать — но кого атаковать и за кем наблюдать? Если у нас будут соответствующие машины, это поможет нам распространять грамотность и знания среди населения. Но кто определяет, чему именно мы будем учиться и что считать истиной? При поверхностном взгляде на проблему может показаться, будто децентрализованная конкуренция позволит нам самим выбирать, что учить и по какой программе. Но конкуренция скорее будет поддерживать существующие закоснелые убеждения и представления. Проблема заключается в том, как научить людей интересоваться конкурирующими парадигмами и думать так, чтобы верно их оценивать.
Мыслящие машины могут — и должны — взять на себя задачи, которые они выполняют лучше, чем люди. Освобождение от ненужной, унижающей человеческое достоинство работы долгое время было главной целью и основной движущей силой инноваций. Дополнить ограниченные способности людей в области анализа информации и принятия решений — задачи, в равной степени заслуживающие внимания. Однако, пусть искусственный интеллект и способен снизить познавательную нагрузку на людей, он не отменяет нашей ответственности за то, чтобы развивать свои мыслительные способности и выносить разумные суждения, основываясь на определенных ценностях и эмпатии. Мыслящие машины ставят нас перед необходимостью выработать новые системы подотчетности, а также социальной (то есть человеческой) ответственности за последствия, которые мы пока не можем предвидеть.
Усилители и исполнители человеческих решений
На протяжении всей истории человечества мы как отдельные существа и как вид были подвержены воздействию сил природы на всех уровнях организации. Фундаментальные законы физики, непроницаемые тайны молекулярной биологии и громада естественного отбора очерчивали границы нашей сознательной жизни, и им удавалось это делать незримо — до последнего времени. Чтобы совладать с постоянным чувством бессилия, мы мифологизировали и природу, и собственный разум. Мы считали загадочные силы природы непогрешимыми — как будто они были богами, — а себя полагали бессильными, свободными лишь в узком пространстве наших жизней.
Когда же в центре внимания оказывается новая, научно обоснованная реальность, становится ясно, что природа к нам совершенно равнодушна и что если мы хотим избежать страданий и неминуемого вымирания, то должны взять на себя ответственность за свою экзистенциальную реальность. Мы должны осознать себя как случайных хранителей 37,2 триллиона клеток, из которых в среднем состоит человеческий организм, и как смотрителей все более управляемой Вселенной.
Этот подростковый опыт осознания будущей самостоятельности и лежит в основе нашего беспокойства по поводу мыслящих машин. Если старые боги умирают, то скоро наверняка должны появиться новые! В результате, как отметил Стивен Пинкер на недавней конференции Edge, нас мучают антиутопические кошмары про ИИ, которые «проецируют мещанскую психологию альфа-самца на представление об интеллекте»{9}. В этом смысле многие и говорят о нем как о неизбежном пришествии Спасителя или сатаны. Но искусственный интеллект, скорее всего, не станет ни тем, ни другим, если он вообще сформирует некую отдельную сущность.
Вероятнее всего, у совершенствующихся компьютеров и алгоритмов вообще не будет своего мнения, а сами они станут усилителями и исполнителями сознательных человеческих решений. Нас уже со всех сторон окружают большие данные и вычислительные машины, производительность которых растет в геометрической прогрессии, и все же мы упорно выполняем политические и социальные алгоритмы, работающие во вред общим интересам.
Источники нашей патологии — это в том числе внутренние когнитивные искажения, племенное эволюционное наследие и несправедливое распределение власти, позволяющее некоторым из нас эгоистически присваивать невероятное влияние на общую социальную траекторию. Возможно, более умные машины помогут нам преодолеть эти недостатки, если мы возьмем на вооружение их информационную прозрачность и способность к адекватному прогнозированию, что склонит нас к более разумному перераспределению власти и более обоснованным решениям. С другой стороны, эти технологии могут повлиять на обоснованность решений и негативно, подкрепляя неизбежно возникающие монополистические интересы корпораций, которые ведут нас в информационный век.
То, какой путь мы выберем, больше зависит от нас, а не от машин, и от того, насколько человеческим должен быть интеллект, направляющий власть имущих. Точнее говоря, вопрос заключается в том, какие аспекты человеческого интеллекта следует сохранять в условиях сверхчеловеческих вычислительных возможностей.
Надо сделать эту штуку такой, чтобы ее невозможно было не любить
Есть такая вероятность, что некий злонамеренный сверхразум на Земле уже появился, но он достаточно прозорлив, поэтому скрывает факт своего существования, а также свои намерения и ум. Не думаю, что такую уловку было бы очень сложно проделать; мы склонны не слишком хорошо замечать то, чего боимся.
В ходе большей части эволюции самая заметная устранимая угроза выживанию нашего вида исходила от того, что было примерно нашего размера и активно пыталось нам навредить, например от диких зверей или от других людей. Со временем мы научились довольно хорошо замечать, что нечто или некто может представлять опасность. Мы также научились минимизировать риск возникновения инфекций, но научились этому непреднамеренно, благодаря инстинктивной брезгливости, социальным нормам и религиозным обрядам. Мы не очень-то задумывались о том, как все это связано с микробами, по той простой причине, что не знали об их существовании.
Корпорации, торгующие средствами гигиены, вкладывают миллиарды долларов в рекламные кампании, обыгрывающие опасность бактерий, или продают идею чистоты, которая косвенно апеллирует к социальному статусу. Я могу с уверенностью утверждать, что никто и никогда не придет ко мне в кабинет с предложением рассказать людям о том, как опасен сбежавший из зоопарка тигр.
Поэтому, когда вы думаете об угрозах, которые несут технологии, вы автоматически задействуете инстинкты, выработанные миллион лет назад. Именно поэтому первый прототип беспилотного автомобиля сделали таким чертовски милым — прямо щеночком на колесиках. Он может двигаться только на сравнительно небольших скоростях, он маленький и легкий, а еще он эксплуатирует парейдолии[63] и наши родительские чувства тем, какой он по-детски очаровательный, какие у него большие глазки и маленький носик кнопочкой. Мой внутренний маркетолог в полном восхищении. Именно так бы я и посоветовал поступить: надо сделать эту штуку такой, чтобы ее невозможно было не любить. Даже если эта технология окажется опаснее, чем АК-47, мне будет трудно представить, что я беру в руки топор и уподобляюсь луддитам.
Но вот вопрос: это ментальный патч или ментальный хак? Машина создана такой милой, чтобы нам легко было преодолеть безосновательный природный страх перед технологиями — или чтобы осторожно втереться к нам в доверие? Я не знаю. Недоверие, которое мы испытываем к беспилотным автомобилям, может быть сродни опасениям, что наших детей похитят (высокий уровень выраженности, но низкий уровень вероятности), а может быть и вполне оправданным. Однако уровень тревожности определяется факторами (в том числе и тем, насколько милыми выглядят предметы), которые не особо релевантны уровню опасности.
И это подводит меня ко второму вопросу.
Хоть беспилотный автомобиль и выглядит мило, мы, по крайней мере, осведомлены о возможных рисках. Он нас соблазняет, но мы знаем, что он нас соблазняет. Существуют ли уже такие технологии (в самом широком смысле этого слова), которые соблазнили нас настолько искусно и были приняты нами настолько быстро, что мы можем узнать о связанных с ними рисках, только если возникнет внезапная, непредвиденная и значительная проблема? Что может быть технологическим эквивалентом фитофтороза картофеля?
Наша нынешняя вера в «технологическое провидение» настолько сильна, что все мы можем довольно легко угодить в эту ловушку — увлечься какой-то новинкой и не заметить, как она дает начало чему-то еще, и еще, а потом уже станет слишком поздно. В течение нескольких столетий после изобретения порох использовался не в военных целях, а только для развлечения.
Летчики коммерческих авиалиний регулярно тренируют посадку в ручном режиме, хотя им редко приходится работать без автопилота; так не стоит ли всем нам время от времени сознательно воздерживаться от использования определенных технологий, просто для того чтобы напомнить себе, как можно жить без них, чтобы сохранять технологическое разнообразие и поддерживать в форме наши умственные мускулы, зачахшие без тренировки? Возможно. Но каким должен быть механизм, координирующий подобное поведение в больших группах людей, я не знаю.
Я недавно предложил компаниям устраивать еженедельный «Шаббат без электронной почты», поскольку считаю, что злоупотребление ею ведет к исчезновению других ценных форм взаимодействия. Мы разучиваемся пользоваться другими способами коммуникации. Большинство людей сочли меня безумцем. Несколько сотен лет назад папа римский, или раввин, или архиепископ кентерберийский могли предъявить нам такое требование. Сегодня этого сделать некому.