ремени, что и позволило отправить терминатора и его противника в прошлое.
Фантастичность сюжета с машиной времени гораздо больше, чем возникновение враждебного ИИ, и поэтому машину времени можно не рассматривать. Представление о том, что сеть Skynet осознала себя, не следует понимать в том смысле, что она обрела человеческое сознание, а как то, что она некоторым образом пересчитала подцели, связанные с ее основной целью. По-видимому, в качестве основной цели ей задали самосохранение (имея в виду сохранение страны), возможно, не буквально, но неким эквивалентным образом. А затем Skynet, пересчитывая разные угрозы, обнаружила, что для нее наибольшая угроза лежит не со стороны вероятного противника, а от своих собственных хозяев.
В этих рассуждениях нет ничего сложного и трансцендентального, и даже шахматный компьютер мог бы их произвести, если бы оперировал соответствующими понятиями.
Далее важно отметить, что Skynet – это сеть, а следовательно, она не находится ни в одном конкретном месте, что делает ее неуязвимой в случае ядерной атаки противника. Более того, эта сеть построена по принципам нейронной сети, что делает ее неформализуемой и непонятной для ее конструкторов. Хотя не ясно, в какой мере ее интеллект полноценен и способен к саморазвитию, его достаточно, чтобы конструировать новые виды роботов. Тот факт, что люди смогли продержаться сколько-нибудь долго против Skynet, говорит о том, что ее интеллект не абсолютен – однако на самом деле это прием для создания интересного сюжета.
Таким образом, сам мятеж Skynet выглядит вполне вероятным, но кажется невероятным, что такую сеть допустили до управления ядерным оружием: ведь должны же были они смотреть фильм «Терминатор» и знать, что этого делать не стоит! С другой стороны, ядерное оружие в любом случае управляется некоторой компьютерной сетью, которая просто разорвана в нескольких местах, чтобы люди могли принять или отменить решение о ядерной атаке.
В фильме «Терминатор-3» другая версия: Skynet прибегает к уловке, чтобы побудить людей дать ей полноту власти. Она симулирует сообщение, что компьютеры министерства обороны заражены вирусом, и требует чрезвычайных полномочий, чтобы его удалить. Однако потом оказывается, что она и есть этот вирус. Хотя такая хитрость очень человеческая по духу, можно предположить, что реальный ИИ мог бы придумать гораздо более изощренную хитрость, которую мы даже не можем представить.
Другим гипотетическим примером глобальной катастрофы с участием ИИ является сюжет написанной современным владивостокским композитором Виктором Аргоновым техно-оперы «2032: Легенда о несбывшемся грядущем». Рок-опера рисует версию альтернативной истории, где СССР сохранился и активно развивается в XXI веке. С целью оптимизации управления создается автоматизированная система государственного управления (АСГУ), которая контролирует все параметры коммунистической экономики. В качестве конечной цели в систему заложено «максимальное удовлетворение потребностей каждого человека». В результате система склонна максимизировать потребление каждым человеком, что не вполне соответствует романтическим представлениям генерального секретаря партии Малиновского. Хотя основные решения принимает человек, система дает ему советы приятным женским голосом. При этом она иногда заявляет примерно следующее: я понимаю, что это решение неразумно, но именно это решение наиболее эффективно, исходя из тех целей, которые вы в меня заложили. Происходит локальная заварушка на границах СССР. И тогда АСГУ предлагает генеральному секретарю нанести по врагу ядерный удар, так как она нашла один способ, который на 99 процентов дает шанс избежать ответного удара. Поглощенный личными неудачами и утративший интерес к жизни генсек соглашается, и в результате выпадает именно тот сотый шанс, который ведет к полному уничтожению. Жизнь на Земле вымирает в результате ядерной зимы.
Очевидно, что этот сюжет находится под влиянием определенных стереотипов и желаний автора. Однако мысль о том, что, давая только «вредные советы», ИИ может быть исключительно деструктивен, заслуживает внимания.
Yudkowsky Е. Creating Friendly AI 1.0. 2001. http://www.sin-ginst.org/upload/CFAI.html.
Юдковски Е. Искусственный интеллект как позитивный и негативный фактор глобального риска // В кн. «Структура глобальной катастрофы». – М.: УРСС, 2008.
Глава 5Биотехнологии: предсказуемая катастрофа
Биотехнологии представляют собой не меньший риск для выживания человечества, чем искусственный интеллект. Положительные результаты развития биотехнологий гораздо медленнее доходят до потребителей, чем достижения в области компьютеров, поскольку клинические испытания новых лекарств требуют многих лет. В силу этого достигнутые результаты гораздо менее очевидны. Поскольку нашей целью является рассмотрение наихудшего возможного итога, мы опишем в начале несколько базовых фактов, которые достаточно общеизвестны, но которые в целом рисуют довольно устрашающую картину.
Вот некоторые факты, почерпнутые из открытых источников.
Эпидемия гриппа-испанки 1918 года затронула весь мир, кроме нескольких отдаленных островов.
Заражение сооружений сибирской язвой очень длительное (один остров в Англии дезактивировали 50 лет), и для его осуществления не требуется больших количеств реагента. Один грамм может заразить целое здание. (Например, устранение последствий загрязнения конвертом с сибирской язвой одного административного здания в США заняло несколько лет и потребовало расходов в сотни миллионов долларов – дешевле было бы снести, но снести было нельзя, так как при этом споры могли заново распылиться.) То есть по способности к длительному заражению и нанесению экономического ущерба сибирская язва превосходит большинство радиоактивных веществ.
СССР на полигоне в Аральском море было накоплено и после его распада брошено 200 тонн боевого штамма сибирской язвы, который затем сожгли американцы. Однако если бы из-за природной катастрофы (смерч) это вещество развеялось, оно могло бы накрыть целые страны. Кстати, штамм был «вепонизирован», то есть споры были обработаны таким образом, чтобы не гибнуть в воздухе при переносе ветром.
«Некоторые доклады ученых (в Асиломаре, 1975) носили сенсационный характер. Так, выяснилось, что в США в громадном масштабе невольно уже был поставлен эксперимент на человеке. Оказалось, что внедренная вакцина против полиомиелита заражена жизнеспособным вирусом SV 40. За 10-летний период, с 1953 по 1963 год эту вакцину привили примерно сотне миллионов детей. Причем проверка показала, что вирус SV 40 сохраняется в организме. Однако, к счастью, увеличения частоты раковых заболеваний у этих детей выявлено не было».[14]
«Эдда Вест в своей статье “Полиомиелит” сообщает о связи вируса SV 40, которым заражались полиовакцины, с опухолями человека: “К концу 1996 г. десятки ученых сообщили об обнаружении вируса SV 40 в различных опухолях костей и мозга, которых стало больше на 30 процентов за последние 20 лет. Затем итальянские ученые обнаружили SV 40 в семенной жидкости 45 процентов и в крови 23 процентов здоровых доноров. Это означало, что SV 40, очевидно, передавался половым путем и от матери ребенку. Вероятно, ныне этот вирус встроен в наш геном». Другие опровергают эти данные. Однако отсюда видно, что развитие биотехнологий создает угрозы, которые далеко не так очевидны.
Развитие биотехнологий подчинено своему собственному «закону Мура», в соответствии с которым цена секвенсирования ДНК, то есть считывания кода, а также синтеза его, падает каждый год примерно в два раза.
Проект секвенсирования человеческого генома стоил миллионы долларов и занял несколько лет, однако большая часть работы была сделана за последние несколько месяцев осуществления проекта. Сейчас запускается проект по распознанию ДНК тысячи человек. Разработаны принципиально новые методы, в том числе без химических реакций, с помощью атомно-силового микроскопа. К 2015 году планируемая стоимость секвенсирования человеческого генома составит 1000 долларов, а время – несколько дней. Точно так же с большой скоростью растет библиотека стандартных элементов, в том числе значений отдельных генов.
В конце 2007 года уже был предложен набор из базовых «кубиков» для генетического конструирования, распространяемый по принципам свободного программного обеспечения Genetic-Engineering Competitors Create Modular DNA Dev Kit.[15]
Ранее, еще в 2003 году, ученые из Института альтернативной биологической энергии (США) под руководством знаменитого Крейга Вентера синтезировали из общедоступных реактивов вполне живой бактериофаг phi-X174 (безопасный для человека и животных вирус, который внедряется в бактерию Esherichia coli)… Кстати, еще ранее, в 2002 году, Экарт Уиммер из университета Стони Брук, штат Нью-Йорк, опубликовал работу по синтезу вируса полиомиелита из кусочков молекул. Синтетические вирусные частицы оказались совершенно неотличимы от естественных по всем параметрам – размеру, поведению, заразности. Причем слово «синтез» применимо к этой работе в самом буквальном смысле: зная нуклеотидную последовательность, ученые шаг за шагом построили вирус совершенно так же, как химики синтезируют сложные молекулы. Сам синтез занял у группы три года. А в 2003 году, через год после публикации этой работы, ученые из Института альтернативной биологической энергии потратили на синтез бактериофага из заказанных по каталогу реактивов всего две недели».[16] Позже они научились сокращать время синтеза до нескольких дней.
«Опасные вирусы могут быть даже выращены ненарочно, как недавно продемонстрировали австралийские исследователи, которые создали модифицированный вирус мышиной оспы (mouse-pox) со стопроцентной смертельностью, когда пытались сконструировать вирус-контрацептив для мышей, чтобы использовать его для контроля над вредителями. Хотя этот конкретный вирус не заражает людей, предполагается, что аналогичные изменения увеличат смертельность вируса человеческой оспы. То, что подчеркивает будущую угрозу здесь – это то, что исследование было быстро опубликовано в открытой научной литературе», – пишет Бостром.