ний в будущем. Эта алгоритмическая оценка повлияла на судью, который приговорил Лумиса к шести годам лишения свободы - суровое наказание за относительно незначительные правонарушения, в которых он признался.
Лумис подал апелляцию в Верховный суд Висконсина, утверждая, что судья нарушил его право на надлежащую правовую процедуру. Ни судья, ни Лумис не понимали, как алгоритм КОМПАС дает свою оценку, а когда Лумис попросил дать ему полное объяснение, ему было отказано. Алгоритм КОМПАС был частной собственностью компании Northpointe, и компания утверждала, что методология алгоритма является коммерческой тайной. Однако, не зная, как алгоритм принимает решения, как Лумис или судья могли быть уверены, что это надежный инструмент, свободный от предвзятости и ошибок? Впоследствии ряд исследований показал, что алгоритм КОМПАС действительно мог содержать несколько проблемных предубеждений, вероятно, взятых из данных, на которых он обучался.
В деле "Лумис против Висконсина" (2016) Верховный суд Висконсина все же вынес решение не в пользу Лумиса. Судьи утверждали, что использование алгоритмической оценки риска является законным, даже если методология алгоритма не раскрывается ни суду, ни подсудимому. Судья Энн Уолш Брэдли написала, что, поскольку КОМПАС делает свою оценку на основе данных, которые либо находятся в открытом доступе, либо предоставлены самим обвиняемым, Лумис мог бы опровергнуть или объяснить все данные, которые использовал алгоритм. В этом заключении не учитывался тот факт, что точные данные вполне могут быть неверно интерпретированы и что Лумис не мог опровергнуть или объяснить все общедоступные данные о себе.
Верховный суд штата Висконсин не был полностью лишен понимания опасности, связанной с использованием непрозрачных алгоритмов. Поэтому, разрешив такую практику, он постановил, что всякий раз, когда судьи получают алгоритмические оценки риска, они должны содержать письменное предупреждение для судей о потенциальной предвзятости алгоритмов. Суд также посоветовал судьям быть осторожными, полагаясь на такие алгоритмы. К сожалению, эта оговорка оказалась пустым жестом. Суд не дал судьям никаких конкретных указаний относительно того, как им следует проявлять такую осторожность. В своем обсуждении этого дела Гарвардское юридическое обозрение пришло к выводу, что "большинство судей вряд ли поймут алгоритмические оценки рисков". Затем он процитировал одного из судей Верховного суда штата Висконсин, который отметил, что, несмотря на подробные объяснения алгоритма, им самим было сложно его понять.
Лумис подал апелляцию в Верховный суд США. Однако 26 июня 2017 года суд отказался рассматривать это дело, фактически поддержав решение Верховного суда Висконсина. Теперь подумайте о том, что алгоритм, который в 2013 году оценил Лумиса как человека с высоким уровнем риска, был ранним прототипом. С тех пор были разработаны гораздо более сложные и изощренные алгоритмы оценки риска, которым были предоставлены более широкие полномочия. К началу 2020-х годов граждане многих стран будут регулярно получать тюремные сроки, частично основанные на оценках риска, сделанных алгоритмами, которые не понимают ни судьи, ни обвиняемые. И тюремные сроки - это только верхушка айсберга.
ПРАВО НА ОБЪЯСНЕНИЕ
Компьютеры принимают за нас все больше решений, как обыденных, так и меняющих жизнь. Помимо тюремных сроков, алгоритмы все чаще решают, предложить ли нам место в колледже, дать ли нам работу, предоставить ли нам социальное пособие или выдать кредит. Они также помогают определить, какое медицинское обслуживание мы получаем, какие страховые взносы платим, какие новости слышим и кто пригласит нас на свидание.
По мере того как общество доверяет все больше и больше решений компьютерам, оно подрывает жизнеспособность демократических механизмов самокоррекции, а также демократической прозрачности и подотчетности. Как выборные должностные лица могут регулировать непостижимые алгоритмы? В связи с этим растет потребность в закреплении нового права человека - права на объяснение. Вступившее в силу в 2018 году Общее положение Европейского союза о защите данных (GDPR) гласит, что если алгоритм принимает решение в отношении человека - например, отказывает нам в кредите, - то человек имеет право получить объяснение этого решения и оспорить его перед каким-либо человеческим органом. В идеале это должно сдерживать предвзятость алгоритмов и позволить демократическим механизмам самокоррекции выявить и исправить хотя бы некоторые из наиболее грубых ошибок компьютеров.
Но может ли это право быть реализовано на практике? Мустафа Сулейман - мировой эксперт в этой области. Он является соучредителем и бывшим главой DeepMind, одной из самых значимых компаний в мире ИИ, ответственной за разработку программы AlphaGo, среди прочих достижений. AlphaGo была создана для игры в го - стратегическую настольную игру, в которой два игрока пытаются победить друг друга, окружая и захватывая территорию. Изобретенная в Древнем Китае, эта игра гораздо сложнее шахмат. Поэтому даже после того, как компьютеры победили человеческих чемпионов мира по шахматам, эксперты все еще считали, что компьютеры никогда не превзойдут человечество в го.
Именно поэтому и профессионалы го, и компьютерные эксперты были ошеломлены в марте 2016 года, когда AlphaGo победил чемпиона Южной Кореи по го Ли Седоля. В своей книге 2023 года "Грядущая волна" Сулейман описывает один из самых важных моментов их матча - момент, который дал новое определение ИИ и который во многих научных и правительственных кругах признан важнейшим поворотным пунктом в истории. Это произошло во время второй партии матча, 10 марта 2016 года.
"Затем... последовал ход № 37", - пишет Сулейман. "Это было бессмысленно. AlphaGo, очевидно, провалил дело, слепо следуя очевидно проигрышной стратегии, которую ни один профессиональный игрок никогда бы не применил. Комментаторы матча, оба профессионала высочайшего класса, сказали, что это "очень странный ход", и решили, что это "ошибка". Это было настолько необычно, что Седолю потребовалось пятнадцать минут, чтобы ответить, и он даже встал из-за доски, чтобы прогуляться на улицу. Мы наблюдали за происходящим из нашей комнаты управления, и напряжение было нереальным. И все же по мере приближения эндшпиля этот "ошибочный" ход оказался решающим. AlphaGo снова выиграла. Стратегия игры в го переписывалась на наших глазах. Наш ИИ обнаружил идеи, которые не приходили в голову самым гениальным игрокам на протяжении тысячелетий".
Move 37 - это эмблема революции ИИ по двум причинам. Во-первых, он продемонстрировал инопланетную природу ИИ. В Восточной Азии го считается гораздо большим, чем просто игрой: это ценнейшая культурная традиция. Наряду с каллиграфией, живописью и музыкой, го было одним из четырех искусств, которые должен был знать каждый утонченный человек. На протяжении более чем двадцати пяти сотен лет в го играли десятки миллионов людей, а вокруг игры сформировались целые школы, отстаивающие различные стратегии и философии. Однако за все эти тысячелетия человеческие умы исследовали лишь некоторые области го. Другие области оставались нетронутыми, потому что человеческие умы просто не думали туда соваться. ИИ, будучи свободным от ограничений человеческого разума, обнаружил и исследовал эти ранее скрытые области.
Во-вторых, ход 37 продемонстрировал непостижимость ИИ. Даже после того, как AlphaGo сыграл его и добился победы, Сулейман и его команда не смогли объяснить, как AlphaGo решил сыграть его. Даже если бы суд обязал DeepMind предоставить Ли Седолю объяснения, никто не смог бы выполнить этот приказ. Сулейман пишет: "Перед нами, людьми, стоит новая задача: будут ли новые изобретения недоступны нашему пониманию? Раньше создатели могли объяснить, как что-то работает, почему оно делает то, что делает, даже если это требовало огромного количества деталей. Сейчас это все чаще перестает быть правдой. Многие технологии и системы становятся настолько сложными, что не под силу ни одному человеку по-настоящему понять их.... В области искусственного интеллекта нейронные сети, движущиеся к автономности, в настоящее время не поддаются объяснению. Вы не можете провести человека через процесс принятия решений, чтобы объяснить, почему алгоритм выдал конкретное предсказание. Инженеры не могут заглянуть под капот и легко объяснить в деталях, что привело к тому или иному событию. GPT-4, AlphaGo и все остальные - это "черные ящики", их результаты и решения основаны на непрозрачных и невозможно сложных цепочках мельчайших сигналов".
Возникновение непостижимого инопланетного разума подрывает демократию. Если все больше и больше решений, касающихся жизни людей, принимаются в "черном ящике", так что избиратели не могут понять и оспорить их, демократия перестает функционировать. В частности, что произойдет, если важнейшие решения не только о жизни отдельных людей, но даже о коллективных делах, таких как процентная ставка Федеральной резервной системы, будут приниматься непостижимыми алгоритмами? Люди-избиратели могут продолжать выбирать человека-президента, но не будет ли это пустой церемонией? Даже сегодня лишь малая часть человечества по-настоящему понимает, что такое финансовая система. Исследование ОЭСР, проведенное в 2016 году, показало, что большинство людей с трудом понимают даже такие простые финансовые понятия, как сложные проценты. Опрос британских парламентариев, которым было поручено регулировать один из важнейших финансовых центров мира, в 2014 году показал, что только 12 процентов точно понимают, что новые деньги создаются, когда банки выдают кредиты. Этот факт относится к числу самых основных принципов современной финансовой системы.38 Как показал финансовый кризис 2007-8 годов, более сложные финансовые устройства и принципы, например те, что лежат в основе CDO, были понятны лишь немногим финансовым волшебникам. Что произойдет с демократией, когда искусственный интеллект создаст еще более сложные финансовые устройства, а число людей, понимающих суть финансовой системы, упадет до нуля?