Егор пожал плечами.
– Зачем? Есть такая шахматная программа, Stockfish. Она может просчитывать больше 70 миллионов позиций в секунду и имеет доступ к столетнем опыту человеческой игры в шахматы, то есть, с теорией там всё нормально. Так вот, четыре года назад у нее выиграл алгоритм AlphaZero на основе искусственного интеллекта, которому в память ничего подобного не загружали и который обучался шахматам, играя сам с собой. Самое крутое, что обучение это заняло всего 4 часа.
Мне стало интересно.
– А ты с какой программой играешь? – спросил я.
– Тоже со Stockfish, в двенадцатой версии.
– И как? Получается выиграть?
Внук рассмеялся.
– Нет, дед, ты чего! Человек не может выиграть у машины, это исключено. Последний раз двадцать пять лет назад, еще в 1997 году, с шахматным компьютером Deep Blue пытались бороться лучшие гроссмейстеры, вплоть до чемпиона мира, но безуспешно. Один из них вспоминал потом, что это как будто стена на тебя надвигается.
– Неинтересно же играть, если не можешь выиграть?
– Ну, будут шансы, если воспользоваться настройками и понизить уровень. Хотя это не всегда получается.
– Почему?
– Сама программа не разрешает.
– Как такое возможно?!
Мы разговорились; Егор, как говорится здесь, в теме, более того, этой темой очевидно увлечен. Я в предмете разбираюсь не в пример хуже, но вот главное, что мне удалось уловить из нашей беседы, а после того почерпнуть в сети.
Чем сложнее система, тем более непредсказуемы внутренние сбои и флюктуации, которые она может генерировать, вне зависимости от того, насколько продуманы меры безопасности, предназначенные эти сбои парировать. Практически все катастрофы, связанные с авиацией, космическими полетами или атомной энергетикой, вызваны совокупностью таких факторов, какие никто не мог спрогнозировать именно вследствие сложности систем, внутри которых они возникли. Например, катастрофа на АЭС Тримайл-Айленд была вызвана несколькими несложными отказами и случайностями, ставшими вкупе обстоятельствами непреодолимой силы: два насоса системы охлаждения остановились из-за неполадок, задвижки двух аварийных были закрыты на техобслуживание, предохранительный клапан застрял в открытом состоянии при неисправном световом датчике, а исправный тревожный индикатор, который вовсю мигал, предупреждая персонал об опасности, оказался прикрыт табличкой, сообщавшей о том самом ремонте задвижек аварийных насосов.
С точки зрения внутренней сложности, АЭС соотносится с алгоритмами искусственного интеллекта примерно, как самокат с современным автомобилем; если недавно самым сложным и непредсказуемым элементом любой системы, чаще всего генерирующим катастрофы, был человек, то теперь это изменилось, и реакции человека предсказать легче, чем поведение служебной программы. Широко известен случай, когда в 2017 году инженерам Facebook пришлось в срочном порядке отключать ботов, начавших общаться между собой на языке, созданном ими самостоятельно и непонятном самим разработчикам. В этой истории существенно важным является уровень непредсказуемой опасности события, из-за которого люди предпочли немедленно остановить работу алгоритмов, а не изучать причины случившегося; а самым невероятным – полное отсутствие общественного интереса и осознания масштаба происшествия, которое лишь немного развлекло публику, будто забавный казус, меж новостями о войне в Сирии, скандалами вокруг кинофильма «Матильда» и голливудским MeToo.
Отличие систем искусственного интеллекта заключается в том, что их уникальная сложность произвольно возрастает вследствие самообучения, которое является основным методом и принципом их развития. Это, безусловно, увеличивает непредсказуемость до угрожающих значений, вследствие чего, как правило, алгоритмы ограничены функциональной областью своего применения и не имеют возможности доступа к интегрированным глобальным сетям.
– Вот, например, шахматный робот, – объяснял Егор. – Кажется, что в нем ничего опасного быть не может, но это лишь на первый взгляд. Предположим, что базовой задачей для него является всегда побеждать в игре; тогда для достижения этой цели в противостоянии с другой машиной он может, к примеру, взломать ее, чтобы снизить быстродействие или уменьшить оперативную память. Если мы поставим для него запрет на подобные действия, то он запросто создаст пару – тройку собственных клонов, для которых такого ограничения не существует. Он может стараться блокировать разработку других систем для игры в шахматы – любыми доступными способами, в мировом масштабе! – которые могут оказаться более совершенными, чем он. Или сопротивляться попытке отключить себя – ведь в этом случае он уже не сможет постоянно выигрывать! – и прятаться в облачных хранилищах, а то и вовсе попытаться избавиться от потенциальной угрозы отключения в виде человека. В итоге получится неуправляемый, одержимый шахматами техномонстр, готовый устроить катастрофу любого масштаба, лишь бы купировать риски того, что он когда-нибудь проиграет. Тут можно что угодно нафантазировать, хоть космическую экспансию с целью поиска и уничтожения любых проявлений разумной жизни, потенциально могущей составить ему соперничество в шахматах. И при этом такого робота нельзя будет назвать злым, просто такая суть у систем, ориентированных на достижение конкретной цели: если не ограничить их ресурсно, они будут идти до конца. И проблема как раз в том, что приходится выбирать: или давать алгоритмам возможность безграничного развития и доступ к широким информационным возможностям, или хеджировать риски.
Мы допили чай; Егор великодушно предложил мне ничью и ушел.
Я же отправился на охоту за тенью.
Высокие технологии – не моя предметная область; я был знаком с ней лишь постольку, поскольку это требовалось для понимания принципов работы бортовых навигационных систем. Эшли точно разобралась бы в вопросе получше, не говоря уже про несчастного Ойууна; мне же остается только обратить внимание на наиболее выразительные маркеры, которые послужили основой моих дальнейших умозаключений.
Я встретил поразительное сравнение, впервые примененное для наглядной иллюстрации скорости и уровня развития информационных технологий еще в 1985 году. Тогда индийский ученый Амар Гупта написал, что, если бы «авиастроительная промышленность за последние 25 лет развивалась так же стремительно, как компьютерная индустрия, Боинг 767 стоил бы 500 долларов, и облетел бы земной шар за 20 минут на 5 галлонах топлива». Сегодняшние исследователи, используя тот же сравнительный ряд, говорят, что, если бы авиастроительная промышленность за последние 75 лет развивалась так же стремительно, как компьютерная индустрия, Боинг 787 сегодня стоил бы дешевле коробка спичек, и облетал бы земной шар менее чем за 1 секунду, затратив менее 1 грамма топлива. Без малого сорок лет технологического развития сделали невероятное сравнение абсолютно фантастическим! Но при этом и совершенно оправданным: возможности моего домашнего ноутбука, например, в квадриллион раз превышают вычислительную мощность легендарного суперкомпьютера IBM 7090 образца 1985 года. Если же сравнить с IBM 7090 современный экзафлопсный компьютер, выполняющий квинтиллион операций в секунду, то разница будет примерно такой же, как между мощностью здешних ракет, кое-как волокущих две тонны груза на орбиту, и тягой маршевого гравитационного двигателя «Эволюции», разгоняющего сто тысяч тонн до световых скоростей.
Честно говоря, и без всяких сравнений квинтиллиона операций в секунду довольно, чтобы поразить воображение. Это примерно столько, сколько звезд в двух миллиардах галактик или километров в тысяче световых лет.
Такая производительность стала возможна благодаря использованию технологий искусственного интеллекта: он сам переписывает и совершенствует собственную программу, в первую очередь инструкции, повышающие его способность к усвоению знаний, решению задач и принятию решений, отлаживает код, отыскивает и исправляет ошибки, а также постоянно измеряет свой текущий IQ с помощью тестов. На создание каждого нового варианта программы уходит всего несколько минут, а иногда и секунд.
С точки зрения восприятия обществом у высоких технологий та же беда, что и у передовой науки. Как совершенно неочевидно влияние на реальную жизнь человека теории струн, так, к примеру, и создание в недавнем времени намагниченного белка, способного управлять нейронами мозга на расстоянии, тоже не претендует на то, чтобы возглавить шорт-лист популярных для обсуждения тем, хотя и может дать конспирологам повод к изобретению пару-тройки жутких новелл. Однако только странной ментальной слепотой можно объяснить то, что вне общественного внимания находятся совершенно практические и прикладные аспекты сегодняшнего использования искусственного интеллекта: того, например, что почти 80 % сделок по ценным бумагам на мировых биржах совершается алгоритмами; что не менее 40 % новостных агрегаторов используют технологии машинного разума для формирования актуальной повестки; что программы уже пишут тексты рекламных объявлений и репортерских заметок, которые невозможно отличить от тех, автором которых является человек. Компьютеры без участия человека автономно поддерживают критически важную транспортную инфраструктуру, системы снабжения электричеством и водой всех крупнейших городов мира. Создана и функционирует единая модель понимания всей человеческой речи на 128 языках, которая обучалась на материале почти миллиона часов записи реальных разговоров и использует 2 миллиарда параметров для различения смыслов, в том числе таких специфических, как ирония и сарказм. Это открывает возможность свободного общения между человеком и машиной в любых средах, включая виртуальную вселенную, практическое создание которой – дело буквально дня завтрашнего после того, как недавно лаборатория Purple Mountain сообщила, что достигнут мировой рекорд скорости передачи данных 6G в терагерцовом диапазоне – до 200 гбит/сек. В сравнении с сегодняшними стандартами – как если бы «Сапсан» доезжал из Петербурга в Москву не за 4 часа, а за 7 секунд. В зависимости от взглядов на жизнь, обыватель может воспринять такую новость, или как повод сжать покрепче топор, чтобы рубить установленные на крыше пятиэтажек антенны связи нового поколения, покушающиеся на его девственный мозг, или обрадоваться тому, что фильмы в ультимативно высоком качестве будут скачиваться быстрее, чем он успеет моргнуть. Но в реальности этот сумасшедший скачок скорости связи значит куда больше; это практические возможности реализации технологии ультра-умного города с полной автоматизацией всего движущегося транспорта и инфраструктуры; многомерной реальности и интернета чувств с передачей вкусов и запахов; телемедицины на основе тактильной связи; голографической коммуникации; наконец, полное объединение физической и цифровой реальности, в которой могут функционировать десятки миллиардов людей и умных устройств.