сами алгоритмы так и не подняли тревогу.
По мере того как мы будем давать алгоритмам все большую власть над здравоохранением, образованием, правоохранительными органами и многими другими сферами, проблема выравнивания будет становиться все более актуальной. Если мы не найдем способов ее решения, последствия будут гораздо хуже, чем если бы алгоритмы набирали очки, катаясь на лодках по кругу.
КОРСИКАНСКАЯ СВЯЗЬ
Как решить проблему выравнивания? Теоретически, когда люди создают компьютерную сеть, они должны определить для нее конечную цель, которую компьютеры никогда не смогут изменить или проигнорировать. Тогда, даже если компьютеры станут настолько мощными, что мы потеряем над ними контроль, мы сможем быть уверены, что их огромная сила принесет нам пользу, а не вред. Если, конечно, не окажется, что мы определили вредную или расплывчатую цель. И вот тут-то и кроется загвоздка. В случае с человеческими сетями мы полагаемся на механизмы самокоррекции, которые периодически пересматривают и пересматривают наши цели, поэтому постановка неправильной цели - это не конец света. Но поскольку компьютерная сеть может выйти из-под нашего контроля, если мы поставим перед ней неверную цель, то обнаружим свою ошибку, когда уже не сможем ее исправить. Кто-то может надеяться, что в процессе тщательного обсуждения мы сможем заранее определить правильные цели для компьютерной сети. Однако это очень опасное заблуждение.
Чтобы понять, почему невозможно заранее договориться о конечных целях компьютерной сети, давайте обратимся к теории войны Клаузевица. В том, как он приравнивает рациональность к согласованности, есть один фатальный недостаток. Хотя клаузевицкая теория требует, чтобы все действия были согласованы с конечной целью, она не предлагает рационального способа определения такой цели. Рассмотрим жизнь и военную карьеру Наполеона. Какой должна была быть его конечная цель? Учитывая преобладающую культурную атмосферу Франции 1800 года, мы можем придумать несколько альтернатив "конечной цели", которые могли бы прийти в голову Наполеону:
ПОТЕНЦИАЛЬНАЯ ЦЕЛЬ № 1: Сделать Францию доминирующей державой в Европе, защищенной от любого будущего нападения со стороны Британии, империи Габсбургов, России, объединенной Германии или объединенной Италии.
ПОТЕНЦИАЛЬНАЯ ЦЕЛЬ № 2: Создание новой многонациональной империи, управляемой семьей Наполеона, которая включала бы в себя не только Францию, но и множество других территорий как в Европе, так и за океаном.
ПОТЕНЦИАЛЬНАЯ ЦЕЛЬ № 3: Добиться вечной славы для себя лично, чтобы даже спустя столетия после его смерти миллиарды людей знали имя Наполеона и восхищались его гением.
ПОТЕНЦИАЛЬНАЯ ЦЕЛЬ НОМЕР 4: Обеспечить искупление своей вечной души и попасть на небеса после смерти.
ПОТЕНЦИАЛЬНАЯ ЦЕЛЬ № 5: Распространение универсальных идеалов Французской революции и помощь в защите свободы, равенства и прав человека по всей Европе и миру.
Многие самозваные рационалисты склонны утверждать, что Наполеон должен был сделать миссией своей жизни достижение первой цели - обеспечение французского господства в Европе. Но почему? Помните, что для Клаузевица рациональность означает согласованность. Тактический маневр рационален тогда и только тогда, когда он согласован с какой-то более высокой стратегической целью, которая, в свою очередь, должна быть согласована с еще более высокой политической целью. Но где в конечном итоге начинается эта цепочка целей? Как определить конечную цель, которая оправдывает все стратегические подцели и вытекающие из них тактические шаги? Такая конечная цель по определению не может быть связана с чем-то более высоким, чем она сама, потому что выше ничего нет. Что же тогда заставляет рационально ставить Францию на вершину иерархии целей, а не семью Наполеона, славу Наполеона, душу Наполеона или всеобщие права человека? Клаузевиц не дает ответа.
Можно возразить, что цель № 4 - обеспечить искупление своей вечной души - не может быть серьезным кандидатом на высшую рациональную цель, потому что она основана на вере в мифологию. Но тот же аргумент можно привести и в отношении всех остальных целей. Вечные души - это интерсубъективное изобретение, существующее только в умах людей, и точно так же обстоит дело с нациями и правами человека. Почему Наполеон должен заботиться о мифической Франции больше, чем о своей мифической душе?
Действительно, большую часть своей юности Наполеон даже не считал себя французом. Он родился Наполеоном ди Буонапарте на Корсике, в семье итальянских эмигрантов. На протяжении пятисот лет Корсика находилась под властью итальянского города-государства Генуи, где жили многие предки Наполеона. Лишь в 1768 году - за год до рождения Наполеона - Генуя уступила остров Франции. Корсиканские националисты воспротивились передаче острова Франции и подняли восстание. Только после их поражения в 1770 году Корсика официально стала французской провинцией. Многие корсиканцы продолжали возмущаться захватом острова Францией, но семья ди Буонапарте присягнула на верность французскому королю и отправила Наполеона в военную школу на материковой части Франции.
В школе Наполеоне приходилось терпеть издевательства со стороны одноклассников за свой корсиканский национализм и плохое знание французского языка. Его родными языками были корсиканский и итальянский, и хотя он постепенно стал свободно говорить по-французски, у него на всю жизнь сохранился корсиканский акцент и неспособность правильно произносить французские слова. В конце концов Наполеоне поступил на службу во французскую армию, но когда в 1789 году разразилась революция, он вернулся на Корсику, надеясь, что революция даст возможность его любимому острову получить большую автономию. Только рассорившись с лидером корсиканского движения за независимость Паскуалем Паоли, Наполеон отказался от корсиканского дела в мае 1793 года. Он вернулся на материк, где решил строить свое будущее. Именно на этом этапе Наполеоне ди Буонапарте превратился в Наполеона Бонапарта (он продолжал использовать итальянский вариант своего имени до 1796 года).
Почему же тогда Наполеону было рационально посвятить свою военную карьеру превращению Франции в доминирующую державу в Европе? Может быть, рациональнее было остаться на Корсике, уладить личные разногласия с Паоли и посвятить себя освобождению родного острова от французских завоевателей? А может, Наполеону и в самом деле стоило сделать миссией своей жизни объединение Италии - земли его предков?
Клаузевиц не предлагает никакого метода рационального ответа на эти вопросы. Если наше единственное правило - "каждое действие должно быть согласовано с какой-то высшей целью", то по определению не существует рационального способа определить эту высшую цель. Как же тогда обеспечить компьютерной сети конечную цель, которую она не должна игнорировать или подрывать? Руководители и инженеры, которые спешат разработать ИИ, совершают огромную ошибку, если думают, что существует рациональный способ указать этому ИИ его конечную цель. Им следует извлечь уроки из горького опыта поколений философов, которые пытались определить конечные цели и потерпели неудачу.
КАНТИАНСКИЙ НАЦИСТ
На протяжении тысячелетий философы искали определение конечной цели, которая не зависела бы от соответствия некой высшей цели. Их внимание неоднократно привлекали два потенциальных решения, известные на философском жаргоне как деонтология и утилитаризм. Деонтологи (от греческого слова deon, означающего "долг") считают, что существуют некие универсальные моральные обязанности, или моральные правила, которые применимы ко всем. Эти правила не зависят от соответствия какой-то высшей цели, а скорее от их внутренней доброты. Если такие правила действительно существуют и если мы сможем найти способ запрограммировать их в компьютерах, то сможем быть уверены, что компьютерная сеть будет служить добру.
Но что именно означает "внутренняя доброта"? Самая известная попытка дать определение внутренне хорошему правилу была предпринята Иммануилом Кантом, современником Клаузевица и Наполеона. Кант утверждал, что внутренне хорошее правило - это любое правило, которое я хотел бы сделать универсальным. Согласно этой точке зрения, человек, собирающийся убить кого-то, должен остановиться и проанализировать следующий ход мыслей: "Сейчас я собираюсь убить человека. Хотел бы я установить универсальное правило, гласящее, что убивать людей можно? Если такое универсальное правило будет установлено, то кто-то может убить меня. Значит, не должно быть универсального правила, разрешающего убийство. Из этого следует, что я тоже не должен убивать". Говоря более простым языком, Кант переформулировал старое Золотое правило: "Поступай с другими так, как хочешь, чтобы поступали с тобой" (Матфея 7:12).
Это звучит как простая и очевидная идея: каждый из нас должен вести себя так, как мы хотим, чтобы вели себя все. Но идеи, которые хорошо звучат в бесплотном царстве философии, часто с трудом перекочевывают на суровую землю истории. Главный вопрос, который историки могли бы задать Канту: когда вы говорите о всеобщих правилах, как именно вы определяете понятие "всеобщий"? В реальных исторических обстоятельствах, когда человек собирается совершить убийство, первым его шагом часто становится исключение жертвы из универсального сообщества человечества. Именно так, например, поступили экстремисты-антирохинья, такие как Виратху. Будучи буддийским монахом, Виратху, конечно, был против убийства людей. Но он не считал, что это универсальное правило применимо к убийству рохинджа, которые считались недочеловеками. В своих постах и интервью он неоднократно сравнивал их со зверями, змеями, бешеными собаками, волками, шакалами и другими опасными животными. 30 октября 2017 года, в разгар насилия против рохинджа, другой, более высокопоставленный буддийский монах прочитал проповедь для военных, в которой оправдывал насилие против рохинджа тем, что небуддисты "не совсем люди".
В качестве эксперимента представьте себе встречу Иммануила Канта и Адольфа Эйхмана, который, кстати, считал себя кантианцем. Когда Эйхман подписывает приказ об отправке очередного эшелона с евреями в Освенцим, Кант говорит ему: "Вы собираетесь убить тысячи людей. Не хотите ли вы установить универсальное правило, гласящее, что убивать людей можно? Если вы это сделаете, вы и ваша семья тоже можете быть убиты". Эйхман отвечает: "Нет, я не собираюсь убивать тысячи людей. Я собираюсь убить тысячи евреев. Если вы спросите меня, хочу ли я установить универсальное правило, согласно которому убивать евреев можно, то я только за. Что касается меня и моей семьи, то нет никакого риска, что это универсальное правило приведет к тому, что нас убьют. Мы не евреи".