[7]. Появление БАРС требует от всех сторон – государств, международных организаций и международных и национальных организаций гражданского общества – необходимости рассмотрения всех последствий следования по этому пути.
31. Некоторые авторы выдвигают тот довод, что роботы никогда не смогут отвечать требованиям международного гуманитарного права (МГП) или международного права прав человека (МППЧ) и что, даже если и смогли бы, роботов принципиально нельзя наделять способностью решать вопрос о том, кто будет жить, а кто должен погибнуть. Эти критики требуют полного запрещения их разработки, производства и применения[8]. По мнению других авторов, такой технологический прогресс – если его удерживать в определенных рамках – представляет собой законные достижения в военной сфере, которые в некоторых отношениях могут даже содействовать обеспечению более гуманного характера вооруженного конфликта и спасению человеческой жизни у всех сторон кон-фликта[9]. Согласно такому доводу полный отказ от такой технологии может сводиться к ненадлежащей защите жизни как таковой.
32. Вместе с тем широко признается, что существует необходимость проявлять осмотрительность и контролировать в той или иной форме использование государствами такой технологии сверх и помимо того, что предусмотрено уже действующими общими стандартами, предписанными нормами международного права. Обозреватели согласны с тем, что для выработки надлежащего подхода к БАРС требуется проведение международной дискуссии.
33. Как и в случае любой технологии, революционизирующей применение смертоносной силы, может существовать недостаточно знаний относительно связанных с такой технологией потенциальных рисков, пока эта технология не разработана, что затрудняет формулирование надлежащей ответной реакции; однако впоследствии наличие таких систем и могущество влиятельных заинтересованных кругов могут исключить возможность принятия мер, направленных на достижение надлежащего контроля[10]. Эта задача дополнительно усложняется гонкой вооружений, которая может возникнуть в том случае, если только некоторые страны будут обладать подобной оружейной технологией. Лучшего момента, чем сегодня, чтобы заняться решением этих проблем, у нас, возможно, не будет. В отличие от других революционных изменений в военной сфере, когда серьезные размышления в основном начинались после возникновения новых методов и способов ведения войны, сегодня есть возможность коллективно сделать паузу и в упреждающем порядке рассмотреть риски, связанные с БАРС. Настоящий доклад представляет собой призыв взять такую паузу, чтобы можно было серьезно и основательно заняться этим вопросом.
34. Одна из причин неотложности рассмотрения данного вопроса заключается в том, что нынешние оценки будущей роли БАРС будут затрагивать объем финансовых, людских и иных ресурсов, направляемых на разработку этой технологии в течение следующих нескольких лет. Нынешние оценки – или их отсутствие – рискуют тем самым в определенном отношении стать самосбывающимися пророчествами.
35. Предыдущий Специальный докладчик рассматривал вопрос о БАРС в его докладе в 2010 году[11], призвав, в частности, созвать группу экспертов для рассмотрения вопроса о применении робототехники и соблюдении международных норм в сфере прав человека и норм гуманитарного права[12]. В настоящем докладе это предложение поддерживается и подчеркивается, и в нем содержится призыв к государствам объявить национальные моратории на некоторые виды работ, связанных с БАРС.
36. Как и в случае БПЛА и прицельного убийства, БАРС ставят вызывающие беспокойство вопросы, касающиеся защиты жизни в соответствии с системами МППЧ и МГП. Специальный докладчик напоминает о верховенстве не допускающего отступлений права на жизнь в соответствии как с договорным, так и с международным обычным правом[13]. Произвольное лишение жизни является противоправным как в мирное время, так и в условиях вооруженного конфликта.
А. Появление БАРС
1. Определения
37. Хотя определения основных терминов могут различаться, нижеследующее объяснение может служить отправным пунктом[14].
38. Согласно широко распространенному определению (с которым, в частности, согласны министерство обороны Соединенных Штатов Америки и «Хьюман райтс уотч»[15]), термин БАРС означает роботизированные системы оружия, которые после их приведения в действие могут выбирать и поражать цели без последующего вмешательства со стороны оператора. Важный элемент заключается в том, что робот располагает автономным «выбором» в том, что касается определения цели и нанесения поражающего удара.
39. Роботы нередко характеризуются как механизмы, функционирование которых строится на основе простой парадигмы «зондирование – думанье – действие»: они имеют сенсоры, позволяющие им в определенной мере оценить ситуацию; процессоры, или искусственный интеллект, «принимающий решение» о том, как отреагировать на полученный импульс; и эффекторы, которые исполняют такие «решения»[16]. Степень автономности, которой наделяют роботов процессоры, следует рассматривать в качестве континуума между существенной вовлеченностью человека, с одной стороны, как в случае БПЛА, когда «в контуре управления» задействован человек, и полной автономностью, с другой, как в случае БАРС, когда люди находятся вне «контура управления».
40. В соответствии с предполагаемым сегодня сценарием операторы будут, по крайней мере, оставаться элементом, так сказать, «расширенного контура управления»: они будут программировать конечные цели в роботизированных системах и принимать решение о приведении систем в действие и, если необходимо, деактивировать их, а автономные оружейные системы будут преобразовывать такие цели в задачи и выполнять их, не требуя дальнейшего вмешательства оператора.
41. Контролируемая автономия означает присутствие оператора «над контуром управления» (в отличие от «в контуре» или «вне контура»). Такой оператор контролирует и может отменить решения робота. Однако возможность отмены решения может в реальных условиях быть весьма ограниченной, поскольку процесс принятия решения роботами зачастую измеряется наносекундами, и информационная база таких решений может на практике быть недоступной для контролера. В таких условиях люди де-факто находятся вне контура управления, и тогда машины на деле представляют собой БАРС.
42. Термин «автономный» следует отличать от терминов «автоматический» или «автоматизированный». Автоматические системы, такие, как, например, бытовое оборудование, работают в структурированной и предсказуемой среде. Автономные системы могут функционировать в открытой среде в неструктурированных и динамичных условиях. В этом случае их действия (подобно действиям людей) могут в конечном счете быть непредсказуемыми, особенно в таких хаотичных ситуациях, как вооруженный конфликт, и тем более когда их действия зависят от действий других автономных систем.
43. Термины «автономия» и «автономный», как они используются в контексте робототехники, могут вводить в заблуждение. Они не имеют ничего общего со «свободной волей» или «нравственностью», как эти понятия используются в процессе принятия решений людьми. Более того, хотя соответствующие технологии развиваются экспонентным образом, и полная автономия непременно будет означать через 10 лет все меньшую вовлеченность человека по сравнению с сегодняшним днем, о разумных роботах, или мощном искусственном интеллекте, в настоящее время говорить не прихо-дится[17].
2. Современная технология
44. Технология в некоторых отношениях сегодня, возможно, не так развита, как об этом бытуют представления в массовой культуре, в которой роботы нередко наделяются свойствами, аналогичными человеческим, что может создать соблазн у международного сообщества ошибочно полагаться на их способности. Однако следует также напомнить о том, что в некоторых отношениях технология по своим возможностям может значительно превосходить способности человека. Технология развивается экспонентно, и невозможно с уверенностью предсказать будущее. Вследствие этого почти невозможно определить, насколько близко мы подошли к тому моменту, когда будут созданы полностью автономные роботы, готовые к применению.
45. Хотя разработки полностью автономных боевых роботов ведутся в основном под покровом секретности, такие роботы пока не были приняты на вооружение. Вместе с тем роботизированные системы с различной степенью автономности и смертоносной силы в настоящее время уже используются, в частности следующие:
• Американская система «Фаланкс» для эсминцев класса «Эгис» автоматически обнаруживает, сопровождает и перехватывает угрозы ударов с воздуха, такие, как противокорабельные ракеты и самолеты[18].
• Американская система лазерной обороны от ракетного, артиллерийского и минометного обстрела (С-RAAM) может в автоматическом режиме уничтожать летящие ракеты, снаряды и мины[19].
• Израильский беспилотник «Гарпия» является неуправляемой автономной оружейной системой, предназначенной для обнаружения и уничтожения радаров противника[20].
• Английский прототип реактивного боевого беспилотника «Таранис» может в автономном режиме искать, опознавать и обнаруживать противника, но может наносить удары по цели только по приказу командования миссии. Он может также обеспечивать свою защиту от самолетов против-ника