[495]. Мало кто из нас откажется садиться в самолет, лишь бы избежать применения такой технологии, если оно станет обязательным. То, что когда-то казалось научной фантастикой, приближается к нам быстрее, чем когда-либо прежде. Дженнифер Даудна и Эмманюэль Шарпантье опубликовали свои новаторские исследования CRISPR-Cas9 в 2012 году; шестью годами позже мы столкнулись с реальностью того, что Хэ Цзянькуй подверг детей генетической модификации.
Размытые границы расширяют само определение передовой. Они уменьшают видимость поставленных на карту этических вопросов, в то же время преумножая важность пяти других сил. Два ключевых вопроса покажут, почему нам нужно постоянно перепроверять, чтобы в нашей этической схеме приоритет отдавался людям и человечеству.
Во-первых, по мере того как роботы становятся все более похожими на людей, люди (и, возможно, машины) должны обновлять правила, социальные нормы и стандарты поведения для организаций и отдельных лиц. Как нам избежать того, что контроль над этическими рисками окажется в руках тех, кто контролирует инновации, или как не дать машинам принимать решения самостоятельно? Небинарная, детальная оценка роботов и ИИ с вниманием к тому, кто их программирует, не означает терпимости к искажению того, как мы определяем, что такое человек. Вместо этого необходимо убедиться, что принятие этичных решений у нас включает нюансы, появившиеся из-за размытия, и что при принятии последующих решений приоритет отдается человечеству. А это означает проактивное представление человечества во всем его разнообразии – этнической принадлежности, пола и гендера, сексуальной ориентации, географии и культуры, социально-экономического статуса и так далее.
Во-вторых, важнейший вопрос, который все время возникает в «алгоритмическом обществе», звучит так: кому предстоит принимать решения? Например, если мы используем ИИ для того, чтобы проложить маршруты беспилотных автомобилей, и исходим из того, что нашими принципами будут эффективность и безопасность, кто тогда должен решать, какой из принципов будет иметь приоритет, и как? Должен ли это решать тот, кто разработал алгоритм? Руководство компании, которая производит такие машины? Регламентирующие органы? Пассажиры? Алгоритм, принимающий решения за автомобиль? И мы еще даже близко не подошли к тому, чтобы определить объем полномочий и ответственности, которые мы предоставим или должны будем предоставлять роботам и другим типам ИИ, или полномочий и ответственности, которые они могут однажды взять на себя, с нашего согласия или без него.
Один из главных принципов, которыми руководствуются при разработке ИИ в многочисленных правительственных, корпоративных и некоммерческих организациях, – это участие человека. Например, принципы ИИ Организации экономического сотрудничества и развития (Organisation for Economic Co-operation and Development) подчеркивают способность человека оспаривать результаты работы ИИ[496]. Принципы утверждают, что системы ИИ должны «включать соответствующие меры безопасности – например, позволять вмешательство человека, когда это необходимо, – чтобы обеспечить честность и справедливость общества»[497]. Так, возможность вмешательства человека включают в число своих принципов Microsoft, Google, научно-исследовательская лаборатория OpenAI и многие другие организации. Однако все еще неясно, когда и как это осуществляется на практике. В частности, как эти контролеры инноваций могут предотвратить вред – например, от автомобильной аварии или от дискриминации по признаку пола или расы, – причиненный из-за того, что алгоритмы ИИ обучались на нерепрезентативных данных[498]. Кроме того, сейчас разрабатываются определенные потребительские технологии, полностью исключающие вмешательство человека. Например, Евгения Куйда, основательница компании, производящей бота-компаньона и поверенную по имени Реплика (Replika), убеждена, что потребители будут больше доверять конфиденциальности этого приложения именно потому, что вмешательства человека тут нет[499].
По моему мнению, для любого ИИ и робототехники нам отчаянно необходим «выключатель». Иными словами, нам нужно, чтобы мы могли резко остановить рассредоточение власти, а это означает выжечь заразу, прояснить все, что нам необходимо знать (и что необходимо знать общественности), чтобы укрепить все три столпа перед тем, как мы пойдем дальше, и заново прочертить некоторые границы. В отдельных случаях нам понадобится занять совершенно категоричную позицию (если обратиться к бинарности) в отношении исключительных, явно неприемлемых способностей ИИ и роботов. Например, недопустимо давать роботам возможность без разбора убивать невинных гражданских лиц в отсутствие контроля со стороны человека или вводить систему распознавания лиц, чтобы ограничить в правах меньшинства. Однако нам не следует отказываться от возможностей, которые предоставляет ИИ, например, для обнаружения пропавшего ребенка или террориста или для того, чтобы сделать намного точнее медицинскую диагностику.
Чтобы выйти на эту арену, мы можем вооружиться. Мы можем влиять на выбор других людей (включая организации и регулирующие органы, а также друзей и сограждан) и для себя делать выбор чаще (а не только лучше), ярче осознавая моменты, когда возможность выбора у нас отнимают. Организации и регулирующие органы несут ответственность за то, чтобы сделать процесс принятия решений для нас более ясным, легким и информированным. Прежде всего думайте о том, кто может (и должен) принимать решения и как вы можете помочь другим оказаться в числе таких людей.
Теперь рассмотрим аспекты нашей этической схемы, которые уникальным образом нацелены на размытые границы.
По большому счету размытые границы требуют, чтобы мы сделали шаг назад и еще раз оценили, определяют ли наши принципы ту идентичность, к которой мы стремимся в этом расплывчатом мире. Сохраняются ли самые фундаментальные принципы – классические принципы уважительного отношения друг к другу или ответственности за свое поведение – в мире, где то, что мы подразумеваем под «друг другом», размыто? Достаточно ли сосредоточены наши принципы на том, как инновации влияют на человеческую жизнь и на защиту человечества в целом? И нужен ли нам отдельный набор принципов для роботов? Мой ответ на последний вопрос – нет. Но все же нам необходимо убедиться, что наши принципы отдают предпочтение людям, а не машинам.
Следующий шаг – применение принципов. Так же ли применяются наши принципы в мире размытых границ? Здесь поможет оценка последствий для людей. Что случится, если наши принципы, основанные на человеческом, приложить к роботам? Если наш принцип – честность, допустимо ли солгать регистратору-боту? И различаем ли мы разные виды роботов и лжи? Если вы солжете о своей истории болезни диагностическому алгоритму, может показаться, что у вас мало шансов получить точный диагноз. Волнует ли нас то, доверяют ли нам роботы? Если алгоритму нужна какая-то форма доверия, которую можно облечь в код, чтобы гарантировать, что выключатель работает, тогда да. И хотя, возможно, легко отбросить эмоциональную сторону доверия, учитывая, что роботы еще не испытывают эмоций, здесь мы снова задаемся вопросом, какое влияние это может оказать на нас. Могут ли недоверие к машинам и продиктованное им поведение негативно повлиять на наше эмоциональное состояние или посеять сомнения среди людей?
Размытые границы еще более усложняют задачу получения и понимания информации. Трудно представить себе, что́ нам необходимо знать, и это мы еще не говорим о том, можем ли мы это знать. ИИ для нас зачастую невидим; компании не раскрывают, как работают их алгоритмы, а нам не хватает технических знаний, чтобы оценить имеющуюся информацию.
Но некоторые ключевые моменты ясны. Говорить о роботах так, будто они люди, неправильно. Например, многие из функций Софии обычному человеку не очевидны. Но благодаря команде Hanson Robotics, стремящейся к прозрачности, я узнала, что София ведет блог в Twitter @RealSophiaRobot с помощью отдела маркетинга этой компании: сценаристы подбирают выражения, а остальное извлекают непосредственно из контента машинного обучения Софии[500]. И все же невидимость многих функций Софии необходима для создания иллюзии того, что мы воспринимаем ее как «живую».
Также мы можем требовать прозрачности от компаний в отношении того, что на самом деле значимо для нас. Возможно, нам не так уж нужно понимать, как именно программируется бот, занятый в сети фастфуда, но знать, что он правильно обработает информацию о нашей пищевой аллергии и подтвердит, что бургер соответствует медико-санитарным требованиям и нормам безопасности, нам необходимо.
Наконец, если мы присмотримся, некоторая размытость окажется не такой уж размытой, какой может выглядеть. Лилли не считает, что ее inMoovator человек. Сама идея романтических отношений между человеком и машиной – это размытие, но она открыто признает, что ее жених – это машина[501].
Если говорить о заинтересованных сторонах, я отношу к ним ИИ, роботов, интеллектуальных агентов, алгоритмы машинного обучения и все роботоподобные «штучки», потому что они могут влиять на наши решения, а наши решения могут влиять на них. Эти заинтересованные стороны могут, в частности, оказывать воздействие на политику, корпоративные решения и общественные блага, такие как здравоохранение и транспорт. Несмотря на то что они не люди, их следует учитывать при распределении ответственности за этику. И мы за них отвечаем (а может быть, даже отвечаем перед ними).
В настоящее время ответственность пока лежит на людях, которые создают, программируют, продают и задействуют роботов и другие типы ИИ, будь то Дэвид Хэнсон, или врач, который прибегает к ИИ, чтобы диагностировать рак, или программист, разрабатывающий ИИ для помощи при принятии решений в сфере иммиграции. Ответственность также несем мы все, делая выбор в том, что зависит от нас, решая, как мы взаимодействуем с машинами, и выражая свою точку зрения, чтобы по возможности сформировать как нормативные требования, так и уровень терпимости общества к размытию. (И стоит подчеркнуть, что возложение на роботов ответственности как на заинтересованные стороны не делает их более человечными и не дает им такого же приоритета, как человеку, когда принципы противоречат друг другу.)