[82] чрезвычайно трудно — ведь он обучается на основе данных. Его реакция — сложное математическое уравнение, которое люди поймут, если только его очень сильно упростить.
Некоторые решения ИИ кажутся нам совершенно бессмысленными (ведь он не знает, что такое здравый смысл), а некоторые человеческие решения кажутся глупыми ИИ (потому что человек принял их, скажем, нетрезвым или сильно уставшим).
Не следует забывать и о других серьезных вопросах и проблемах: как компенсировать лишение средств к существованию миллионам водителей грузовиков? Чем занять миллионы часов, которые высвободятся из-за массового перехода на автономный транспорт?
Допустимо ли использовать сейчас временный, промежуточный ИИ, совершающий ошибки, которых не совершил бы водитель-человек? А если лет через пять, когда ИИ «намотает» миллиарды километров и многократно умножит свой опыт, обучится и сильно улучшится, это позволит вдвое сократить количество смертей на дороге?
И наконец, фундаментальный, принципиальный вопрос — сможем ли мы хоть когда-нибудь позволить машине принимать решения, способные причинить ущерб человеку? Если ответ отрицательный — то идею беспилотных транспортных средств нужно похоронить на корню.
На карте — жизни людей, и все компании, работающие над развитием ИИ, должны действовать максимально осторожно. Тут возможны два подхода, у каждого свои достоинства и недостатки.
Первый — осторожничать, медленно накапливать данные в безопасной среде, избегать смертельных случаев и лишь потом запускать автономный продукт (подход Waymo[83]).
Второй — вывести продукт на рынок, как только ИИ станет относительно безопасным, собрать как можно больше данных, поскольку со временем это сбережет много жизней, даже если вначале будут жертвы (подход компании Tesla).
И что лучше? Самые светлые умы современности пока не пришли к согласию.
А вот еще вопрос на засыпку: кто должен нести ответственность за смертельное ДТП, устроенное автономным транспортным средством? Производитель автомобиля? Провайдер ИИ-алгоритма? Программист, который этот алгоритм написал? Водитель-человек, обеспечивавший поддержку? Очевидного ответа нет, но политикам уже в ближайшее время придется его найти, потому что из истории известно: экосистему вокруг подотчетности и ответственности можно построить только тогда, когда они предельно четкие и ясные.
(Например, ответственность за убытки в результате мошенничеств с пластиковыми картами несет компания, их выпускающая, — не банк, не магазин и не пользователь карты. Именно это решение дало компаниям-эмитентам право взимать плату с других сторон процесса и использовать эти средства для предотвращения мошенничеств, что и привело к созданию соответствующей экосистемы.)
Предположим для примера, что за все ответствен автор софта и что программу, которая привела к смертельному исходу, выпустила Waymo. На какую сумму может подать иск семья погибшего, если у Alphabet, материнской компании Waymo, в наличии более 100 миллиардов долларов? Согласитесь, это непаханое поле для адвокатов, навязывающих свои услуги жертвам несчастных случаев.
Нам остро необходимы законы, которые защитят людей от небезопасного программного обеспечения, но при этом должны быть гарантии, что технический прогресс не остановится из-за непомерных штрафов для тех, кто обеспечивает его софтом.
И наконец, последнее. Сообщения о дорожно-транспортных происшествиях довольно редко попадают в заголовки национальных газет. Но стоило в 2018 году беспилотному автомобилю Uber задавить пешехода в Фениксе, новость не сходила со страниц национальной прессы несколько дней. Система Uber, скорее всего, действительно виновата, но оправданно ли подобное внимание медиа ко всем смертельным случаям в будущем?
Если в прессе начнут кричать о каждой смерти, связанной с автономным транспортом, клеймить позором и пригвождать заголовками молодую индустрию, она, возможно погибнет на взлете — а ведь со временем, при благоприятном развитии, она, возможно, позволит спасти миллионы жизней.
Все описанные проблемы способны посеять в обществе страх, спровоцировать принятие излишне консервативных законов и существенно замедлить темпы перехода людей на автономный транспорт. Разумеется, это абсолютно обоснованные и логичные опасения, но если постепенно повышать осведомленность людей, поощрять дискуссии, достигать решений, то мы окажемся готовы к этим технологиям, как только они станут готовы для нас.
Я убежден: в долгосрочной перспективе автономные транспортные средства уровня 5 принесут человечеству неоценимую пользу в самых разных аспектах нашего существования, хотя нам и придется за это платить. Юный Чамал в конце рассказа «Святой возница» тоже это понял.
Глава 7. Квантовый геноцид
Нам не нужен ИИ, чтобы нас уничтожить, мы и сами большие задиры.
Все вещи переплетены друг с другом; святая связь объединяет их.
Примечание Кай-Фу: Прорывные, революционные технологии могут оказаться для нас и огнем Прометея, и ящиком Пандоры — в зависимости от того, как их использовать, во зло или во благо. Гениальный физик из истории «Квантовый геноцид» сорвался из-за личной трагедии и использовал два мощных технологических прорыва во зло — он вступил на путь невиданной доселе мести всему миру. В комментарии я подробнее опишу, возможно, величайший технологический прорыв, который вполне имеет шансы произойти к 2041 году. Квантовые компьютеры могут дать мощнейший толчок и искусственному интеллекту, и вычислениям. Я также опишу автономное оружие с элементами ИИ — это наибольшая опасность, которая грозит нам со стороны искусственного интеллекта. Потенциально — это реальная угроза существованию человечества.
Исландия, Кеблавик
25 августа 2041 года
Местное время 21:38
Летние ночи в Исландии бледны и холодны, как живот утопленника.
В Кеблавике, городе-спутнике Рейкьявика, находится самый защищенный на европейском континенте дата-центр Hrosshvalur. В этой настоящей крепости для хранения данных работают тысячи серверов. Энергию для дата-центра производит геотермальная электростанция, а охлаждение обеспечивают арктические ветра.
Пятьсот ведущих компаний Европы доверили Hrosshvalur свои информационные ресурсы. С материком и с Северной Америкой объект связан двенадцатью артериями — высокопроизводительными оптоволоконными кабелями. До Нью-Йорка информация долетает по ним всего за шестьдесят миллисекунд.
Выбросы углекислого газа в помещениях были почти нулевыми. Робин это казалось чудом.
На пляже в юго-западной части залива Фахсафлоуи лежало старое рыбацкое судно. Зияющая в обшивке дыра делала его похожим на кита с распоротым брюхом. Через эту «рану» в трюм были протянуты толстые черные кабели. Они терялись в темноте, которая изредка вспыхивала сине-белыми огоньками.
В проржавевшем корпусе судна хакеры и разместили свою базу — тут было такое оборудование, о котором многим и мечтать не приходится. Ребята провели здесь полгода, пользуясь дармовыми местными ресурсами: геотермальной энергией, холодным воздухом и избыточной вычислительной мощностью квантовых компьютеров из дата-центра. Сегодня должно было свершиться чудо, ради которого все и затевалось.
Уилл — в этом трио он играл роль спеца по «железу» — колдовал над клавиатурой. Он завернулся в видавшую виды куртку и здорово смахивал на бурого медведя.
— Поверить не могу, что мы дождались, — клацнул он зубами то ли от холода, то ли от возбуждения. — Сколько, говорите, биткойнов у Сатоси[84]?
Ли, 16-летний вундеркинд, откликнулся, не отрываясь от мелькавших перед глазами строк кода.
— Не менее двухсот шестидесяти миллиардов, — тон безразличный, как будто не про кучу долларов шла речь, — а может, и все пятьсот, смотря какой трейдинговой стратегии следовать.
— Бабло — зло, не позволяйте ему трахать вам голову, — в губе Робин запрыгал пирсинг. — Помните, парни, — удача и слава!
В хакерском мире давно поговаривали, что Сатоси Накамото, придумавший биткойн, реально крут и успел намайнить не меньше миллиона.
Считалось, что криптовалюту он держал в цифровом кошельке на основе стандарта P2PK (Pay-to-Public-Key)[85], то есть с использованием открытого ключа. Если это правда, то современным старателям было просто грех не прибрать к рукам сокровища Сатоси.
Майнеры давно отказались от P2PK, потому что каждая биткойн-транзакция, инициированная с использованием этого стандарта, делала ее открытый ключ видимым для всей сети. Более поздние стандарты — например, P2PKH (Pay-to-Public-Key-Hash) — защищены гораздо лучше, по крайней мере, теоретически. Они показывают только хеш открытого ключа, но не сам ключ.
Алгоритм, разработанный Питером Шором в 1994 году (и получивший его имя), позволяет справиться и с закрытым ключом, решив «проблему дискретного логарифма для эллиптических кривых с помощью 16-разрядного открытого ключа». Теоретически он дает возможность подделать цифровую подпись и стырить активы, но практически все упирается в вычислительные мощности.
До изобретения квантовых компьютеров даже самому быстрому суперкомпьютеру, чтобы вычислить закрытый ключ на основании известного открытого, требовалось около 6,5 × 1017 лет. Это в 50 миллионов раз дольше, чем осталось жить вселенной — число, совершенно непостижимое для человеческого разума.
Робин до костей пробрала впервые возникшая мысль о глубине пропасти между теорией и реальными возможностями. Казалось, какое-то божество намеренно производило вычисления, выходящие за рамки человеческого понимания, чтобы продемонстрировать нам ничтожность нашей цивилизации.