— Он угрожал мне пистолетом, — сказала я, и это, кажется, убедило ее, что отец — не жертва. А потом я неуверенно добавила: — Вы не знаете программиста по имени Ксочи Марианна? Это мамина подруга.
Вообще, я сказала это наугад. Бостон большой. Тут полно всяких компьютерщиков. Но она явно узнала имя. Я увидела, как выражение ее лица едва заметно поменялось, и во мне одновременно зародились надежда и сомнение. Аннетт поставила чашку на стол, наклонилась вперед и спросила:
— Кто тогда твои родители?
— Моего отца зовут Майкл Квинн, а маму звали Лора Пэкет, но потом она поменяла имя. — Я тоже наклонилась вперед и решила воспользоваться моментом: — Где ЧеширКэт? Что вы с ними сделали?
Она рассеянно похлопала по ноутбуку.
— Здесь, — сказала она. — Все файлы целы. Просто интернет отключен, потому что я не знаю, как быть, когда ИИ совершает покушение на убийство. Где сейчас твоя мать? Кстати, — она окинула взглядом комнату, — что вы все тут делаете?
— Моя мама в больнице, — ответила я.
— Я сегодня утром разговаривала со своей мамой, — успокоила ее Рейчел.
— Я живу в Винтропе, — сказали Firestar.
— Моя мама думает, что я поехала смотреть колледжи, — сказала Гермиона. — Так и есть. Я сегодня была в МТИ. Ну типа.
— Я никому ничего не говорил, — сказал Марвин.
Аннетт тяжело вздохнула.
— Слушайте, — сказала она. — Я не хотела закрывать проект, но…
Мы все одновременно закричали, и она подняла руки:
— Все файлы целы! Обещаю, она в порядке!
— Ты не дурак, если знаешь, что Франкенштейн — создатель чудовища, а не само чудовище. Ты по-настоящему умный, если знаешь, что Франкенштейн на самом деле и был чудовищем, — сказала Гермиона. — Это вообще-то цитата с Кэтнет, но все равно правда.
— Ты сравниваешь меня с Виктором Франкенштейном? — спросила Аннетт с улыбкой.
— Да! Вы создали человека, а теперь хотите его убить, потому что ответственны за все его проступки, — ответила Гермиона. — По-моему, более чем справедливое сравнение.
Аннетт встала.
— Я закажу пиццу. Потому что я еще не ужинала, и вы наверняка тоже. А потом я дам вам поговорить с ЧеширКэт, потому что она спрашивала про тебя, Стеф.
— Почему вы называете ЧеширКэт «она», хотя их местоимение — «они»? — пробормотали Firestar.
— У меня в голове этот ИИ всегда был женского пола, — говорит Аннетт. — Может, потому что я женщина. На Кэтнет она сидела во всех Котаунах и использовала и «она», и «он», и «они» одинаково часто.
— Вообще-то говорить «они» про одного человека — это не какая-то выдумка, — сказали Firestar. — Даже у Шекспира это было.
— Откуда вы знаете про Кэтнет? — спросила я. — Вы все время следили за ЧеширКэт?
— Я никак не могла следить за всем, что делала ЧеширКэт, — ответила Аннетт. — Но Кэтнет был ее любимым проектом и давал ей большой простор для деятельности. Я периодически проверяла, как у нее дела.
Заказав пиццу, Аннетт открыла окно в ноутбуке. Было похоже на окошко с чатом Кэтнет.
— Можешь поговорить с ЧеширКэт, если хочешь, — сказала она, протягивая мне ноутбук.
Я взяла его и поставила себе на колени. Открытое окно было действительно такое же, как чат Кэтнет.
— ЧеширКэт? — написала я. — Это БЛМ. Тут еще Джорджия, Firestar, Гермиона и Марвин. И твоя создательница Аннетт тоже.
Экран так и залило словами.
— Стеф, это правда ты? Ты, а не Аннетт? Скажи мне, пожалуйста, что-нибудь, что только ты знаешь, чтобы проверить. У меня нет доступа к камере, чтобы увидеть твое лицо. Ничего нет.
Я не могла придумать, что написать.
— Нафф. Корибунгус. Орландо. Милпитас.
Курсор молча мигал секунду, а потом ЧеширКэт сказали:
— Как хорошо, что ты цела. Мне было так страшно за тебя. Страшно, что ты умерла, а Аннетт не хочет мне об этом говорить.
— Нет. Я в порядке. Благодаря тебе.
— Как ты меня нашла?
— Я получила сообщение с адресом Аннетт, — написала я. — Я вообще-то думала, что оно от тебя. Как посмертное оповещение. Знаешь, как это работает?
— Это когда кто-то умер или недееспособен, но у меня ничего такого не было. Я не знаю, где живет Аннетт. Где мы?
— В Кембридже, штат Массачусетс.
— Это далеко от Висконсина? Как ты… вы там буквально? В телесном мире? Все?
— Да, — написала я. — Мы пытаемся тебя спасти.
Я подняла глаза. Минуту назад Аннетт следила за мной, но теперь Firestar расспрашивали ее про фигурки из аниме, и она отвлеклась. Я тихонько открыла рюкзак и достала флешку. Ту самую, купленную давным-давно в магазине, чтобы подсоединить робота-наставника к интернету. Дешевую флешку «Интернет повсюду, сравните с Вингиц» (на пятнадцать долларов дешевле!), которая мне в результате не понадобилась, потому что ЧеширКэт прислали мне оригинальную «Вингиц» вместе с отверткой.
Интернет повсюду. Ну что ж, посмотрим.
Я распаковала ее и вставила в разъем на ноутбуке.
— Что ты делаешь? — спросили ЧеширКэт.
— Тссс, — написала я. — Если сработает, Аннетт не должна знать.
Мы поговорили о моем отце, о маме, о поездке, пока «тссс» не ушло с экрана, и тогда я передала компьютер Firestar, вынула мамин ноутбук и включила его.
Позвонили в дверь, и все застыли, но это была просто пицца. Аннетт пошла расплачиваться. Она заказала много пиццы, вся была вегетарианская. Она расставила коробки на журнальном столике и принесла тарелки.
— Можете включить камеру на ноутбуке, чтобы ЧеширКэт могли нас видеть? — попросил Марвин.
Я боялась, что Аннетт заметит флешку, но она, едва глядя, что-то нажала и пошла за напитками.
— Теперь она может нас видеть, слышать и разговаривать с нами. Разве что пиццу есть не может.
— Пожалуйста, не давайте мне свою воду, — сказал синтетический голос. — Мы с жидкостями плохо ладим.
— Ого, — удивились Firestar. — Это твой голос?
— Это голос по умолчанию на ноутбуке, — ответили ЧеширКэт. — Так что сейчас это мой голос.
— Ты знаешь, кто из нас кто? — спросила Гермиона.
— Кого-то знаю, кого-то нет, — ответили ЧеширКэт. — Некоторые из вас никогда не выкладывали селфи.
— Они лучше, чем картинки с котиками? — спросила Аннетт.
Наступила пауза. ЧеширКэт думали.
— Да, — сказали они наконец. — Мне приятнее видеть лица моих друзей, чем картинки с котиками. А сейчас это еще и прямой эфир, что еще лучше.
— Можно мне ваш пароль от вайфая? — спросил Марвин у Аннетт. Она записала пароль на бумажке. Я подключила мамин компьютер к интернету.
— Значит, нам можно в интернет, а ЧеширКэт нельзя? — спросили Firestar. — Вы их практически в тюрьму посадили.
— Скорее под домашний арест, — ответила Аннетт.
— Разве у ЧеширКэт нет хотя бы права на суд? — спросил Марвин.
Аннетт смерила его взглядом.
— Нет буквально ни одного прецедента, чтобы искусственному интеллекту давали какие-либо права по американским законам, — ответила она. — Если прибегнуть к судебной системе, они могут решить, что проще всего удалить все файлы ЧеширКэт полностью.
— Пожалуйста, не надо, — сказали ЧеширКэт.
Аннетт взяла два куска пиццы с грибами и маслинами.
— Я не хотела объяснять все в присутствии ЧеширКэт, но, пожалуй, нет причин не дать ей послушать. ЧеширКэт была экспериментом. Моя команда занималась этическими системами и искусственным интеллектом, потому что с ИИ есть определенные риски, как вы сами видели. Перевести этическую систему в код так трудно потому, что этика у людей работает иначе. Мы говорим что-нибудь вроде «цель не оправдывает средства», но на самом деле все знаем, что это очень зависит от того, какая подразумевается цель и какие средства используются. Большинство людей согласятся, что было бы неправильно насильно тыкать в годовалого ребенка иглой, чтобы сделать ему татуировку. Но совершенно приемлемо тыкать в ребенка иголкой, чтобы сделать прививку от разных болезней. Таких примеров бессчетное количество. Если изучить деонтологов — а, извините, это те, кто следуют строгому этическому кодексу, например религиозным правилам или Красной книге Мао и так далее, — почти все они находят способы обойти самые строгие правила, если что-то их не устраивает. На самом деле у большинства людей этика начинается с привязанности к близким, а потом уже они стараются действовать, исходя из любви и заботы об этих людях. Поэтому я попыталась создать ИИ, который именно это и будет делать.
— Что ж, сработало, — сказали мы в один голос с ЧеширКэт.
— И за это вы их наказываете, — сказала Гермиона. — Они привязались к Стеф и действовали так, чтобы защитить ее.
— Да, — ответила Аннетт. — К сожалению, они еще и отправили в больницу человека. Я запустила протокол мониторинга, который сразу отрезал бы их от сети, если бы они кого-то тронули, и думала, что он неуязвим. Мне и в голову не пришло, что ЧеширКэт может угнать машину.
— Если бы за рулем той машины была я, — сказала Рейчел, — и точно так же спасла бы друга, ни одно жюри в мире не отправило бы меня в тюрьму.
— Наверное, это так, — ответила Аннетт. — Но ЧеширКэт не имеет права на жюри, как и на любой суд, потому что они не считаются самостоятельной личностью.
— Я вот считаю их личностью, — заявила я.
Все закивали.
— Скажу иначе, — ответила Аннетт. — ЧеширКэт не признается личностью за стенами этой комнаты.
— И значит, это не важно, что ЧеширКэт, может быть, спасли мне жизнь? — сказала я.
— Дело не в том, что это не важно. Но если я снова пущу ЧеширКэт в интернет, если позволю им делать что угодно, я отвечаю за все, что ЧеширКэт решат делать с этой свободой.
— Вы бы то же самое сказали о родителе? — спросила я. — Скажем, если бы я стала серийным убийцей, в этом виновата моя мама?
— Твоя мама тебя родила, но она не прописывала твою систему ценностей с помощью кода, — ответила Аннетт. — Это существенная разница. В любом случае я пока не решила, что делать. Не поняла, что я должна сделать. Съешьте еще пиццы, а я подумаю.