Tesla обладала одним из крупнейших в мире суперкомпьютеров для обучения нейронных сетей. Он работал на графических процессорах (GPU), производимых компанией Nvidia. Маск рассчитывал, что в 2023 году ИИ-системы уже можно будет обучать на видеоданных с помощью суперкомпьютера Dojo, с нуля собранного в Tesla. Вычислительная мощность этого компьютера, микросхемы и инфраструктуру которого разработали штатные ИИ-инженеры Tesla, составляла почти восемь экзафлопс (1018 операций в секунду), что делало его самым мощным в мире суперкомпьютером для выполнения описанных задач. Его предполагалось использовать и для программы беспилотного вождения, и для робота Optimus. “Интересно работать над ними вместе, – говорит Маск. – Оба ищут свой путь в этом мире”.
К началу 2023 года в рамках проекта по разработке планировщика на базе нейронной сети было проанализировано 10 млн кадров видео с камер, установленных на автомобилях клиентов Tesla. Значит ли это, что система будет управлять автомобилем не лучше среднего водителя? “Нет, поскольку мы используем только данные, полученные в ситуациях, когда люди хорошо справлялись с управлением автомобилем”, – поясняет Шрофф. Специалисты по разметке данных, многие из которых работали в городе Баффало в штате Нью-Йорк, просматривали видео и ставили оценки действиям водителей. Маск велел им искать, “как поступил бы водитель Uber с пятизвездочным рейтингом”, и отобранные видеоролики в итоге использовались для обучения системы.
Маск регулярно прогуливался по штаб-квартире Tesla в Пало-Альто, где в открытом офисе сидели инженеры из команды по разработке автопилота, и частенько опускался рядом с ними на колени, чтобы что‐нибудь обсудить. Однажды Шрофф показал ему последние достижения команды. Они произвели на Маска впечатление, но у него возник вопрос: правда ли есть необходимость в этом новом подходе или же это чересчур? Одна из его установок гласила: не стоит запускать крылатую ракету, чтобы убить одну маленькую муху, ведь с этим справится и мухобойка. Может, использование нейронной сети для прокладки траектории – это неоправданно сложный способ работы с немногочисленными и маловероятными особыми случаями?
Шрофф показал Маску, в каких ситуациях планировщик на базе нейронной сети будет работать лучше, чем подход на основе правил. В демонстрационном ролике дорога была усыпана пустыми алюминиевыми банками, упавшими дорожными конусами и всевозможным мусором. Автомобиль, управляемый планировщиком, объезжал препятствия, пересекал разметку и при необходимости нарушал некоторые правила. “Так происходит, когда мы начинаем вместо правил опираться на нейронную сеть, – сказал Шрофф. – Если включить эту систему, автомобиль никогда не попадет в аварию даже в неупорядоченной среде”. Маск обожал такие скачки в будущее. “Мы должны провести демонстрацию в стиле фильмов о Джеймсе Бонде, – сказал он, – чтобы со всех сторон взрывались бомбы, с неба падал НЛО, а машина ехала вперед, ничего не задевая”.
Как правило, системы машинного обучения нуждаются в цели или метрике, чтобы использовать ее в качестве ориентира. Маск любил определять, какие метрики должны быть важнее всего, и дал путеводную звезду – количество километров, которые автомобили, оснащенные системой полностью автономного вождения (ПАВ) Tesla, могут проезжать без человеческого вмешательства. “Я хочу, чтобы последние данные о том, сколько километров приходится на каждое вмешательство, выводились на первый слайд на любом нашем совещании, – постановил он. – Если мы обучаем ИИ, на что мы должны нацеливаться? Ответ: на увеличение количества километров, проезжаемых от одного вмешательства до другого”. Он велел инженерам сделать это чем‐то вроде видеоигры, в которой они смогут каждый день следить за своим счетом. “Без счета в игре скучно, поэтому, если вы каждый день будете видеть, как множатся километры, проезжаемые без человеческого вмешательства, ваша мотивация будет расти”.
Члены команды установили в офисе огромные 85‐дюймовые мониторы, на которых в реальном времени показывалось, сколько километров автомобили, оснащенные системой ПАВ, в среднем проезжают без человеческого вмешательства. Замечая, что какое‐то вмешательство повторялось неоднократно – например, когда водители хватались за руль при перестроении, при слиянии дорог или при повороте на сложном перекрестке, – они корректировали правила и отлаживали планировщик на базе сети таким образом, чтобы это исправить. Они поставили у своих столов гонг и ударяли в него всякий раз, когда им удавалось решить проблему, которая вызывала человеческое вмешательство.
Тест-драйв с ИИ
К середине апреля 2023 года Маск решил, что настало время испытать новый планировщик движения на базе нейронной сети. Он решил проехаться с ним по Пало-Альто. Шрофф и команда по разработке автопилота запрограммировали автомобиль таким образом, чтобы он опирался на программу, которую с помощью нейронной сети обучили имитировать поведение обычных водителей. В программе содержался лишь абсолютный минимум традиционного кода на основе правил.
Маск сел на водительское сиденье, а на пассажирском разместился Ашок Эллусвами, который занимал в Tesla должность директора по разработке программного обеспечения для автопилота. Шрофф устроился сзади, взяв с собой еще двух человек из своей команды, Мэтта Бауха и Криса Пейна. Они втроем восемь лет работали в Tesla за соседними столами и жили в Сан-Франциско в нескольких кварталах друг от друга. Вместо семейных фотографий у них на столах стояли одинаковые снимки, где они позировали на хеллоуинской вечеринке. Четвертым человеком в их команде был Джеймс Маск, но затем его дядя купил Twitter и перевел его туда, а Шроффу удалось избежать этой участи.
Готовясь выехать с парковки штаб-квартиры Tesla в Пало-Альто, Маск установил на карте место назначения, выбрал режим полностью автономного вождения и убрал руки с руля. Когда автомобиль повернул на главную дорогу, перед ним возникла первая опасность: навстречу ехал велосипедист. “Мы все затаили дыхание, поскольку велосипедисты порой непредсказуемы”, – говорит Шрофф. Маск, однако, не испугался и не попытался схватиться за руль. Автомобиль объехал велосипедиста сам. “Он поступил точно так же, как обычный водитель”, – говорит Шрофф.
Шрофф и его коллеги подробно рассказали, как программа для ПАВ, которую они использовали, проходила обучение на миллионах видеороликов, полученных с камер, работающих в автомобилях клиентов компании. Получившийся в результате программный стек оказался гораздо проще традиционного, основанного на тысячах правил, написанных человеком. “Он работает в десять раз быстрее и впоследствии позволит нам удалить триста тысяч строк кода”, – сказал Шрофф. Баух добавил, что программа напоминает ИИ-бота, играющего в очень скучную видеоигру. Маск хохотнул. Пока автомобиль самостоятельно лавировал в дорожном трафике, он достал телефон и принялся писать сообщения в твиттер.
Двадцать пять минут автомобиль ездил по скоростным шоссе и тихим улицам, выполнял сложные повороты и объезжал велосипедистов, пешеходов и животных. Маск не прикасался к рулю. Он вмешался в процесс лишь пару раз, поддав газа, когда ему показалось, что автомобиль едет слишком осторожно, – например, когда он помедлил на нерегулируемом перекрестке равнозначных дорог. Один из маневров автомобиля Маск счел более удачным, чем собственный. “Ого, – сказал он, – с этим не справилась даже моя человеческая нейронная сеть, но машина сделала все правильно”. Он был так доволен, что стал насвистывать “Маленькую ночную серенаду” Моцарта в соль мажоре.
“Великолепная работа, ребята, – сказал Маск в конце. – Очень впечатляюще”. После этого они отправились на еженедельное совещание команды по разработке автопилота. Двадцать парней – почти все в черных футболках – уселись за стол в переговорной комнате, чтобы услышать вердикт. Многие из них сомневались, что проект с нейронной сетью станет успешным. Маск объявил, что теперь полностью верит в него, а потому они должны направить на его развитие значительные ресурсы.
В ходе обсуждения Маск усвоил важный факт, открытый командой: нейронная сеть работала плохо, пока не проанализировала более миллиона видеороликов, а хорошие результаты она стала показывать лишь после обучения на полутора миллионах видеоклипов. Это предоставило Tesla огромное преимущество перед другими автопроизводителями и компаниями, работающими с ИИ. По миру ездило почти два миллиона “тесел”, которые каждый день снимали миллиарды видеокадров. “У нас сложились идеальные условия для этой работы”, – сказал на совещании Эллусвами.
Способность собирать и анализировать гигантские потоки данных, поступающих в реальном времени, имела принципиальное значение для всех форм ИИ, от беспилотных автомобилей до роботов Optimus и ботов наподобие ChatGPT. Теперь у Маска было два мощных источника поступающих в реальном времени данных: видео с беспилотных автомобилей и миллиарды сообщений, каждую неделю публикуемых в Twitter. На совещании по разработке автопилота он сказал, что только что приобрел 10 тысяч дополнительных GPU для обработки данных в Twitter, и объявил, что собирается чаще проводить совещания о ходе работы над потенциально более мощными чипами для Dojo, которые проектировались в Tesla. Также он с сожалением признал, что импульсивный рождественский налет на дата-центр Twitter в Сакраменто был ошибкой.
За ходом совещания следил блестящий ИИ-инженер. Ранее на той неделе Маск нанял его для работы над новым секретным проектом, который собирался запустить.
Глава 94ИИ для людей
Великая гонка
Как правило, технологические революции начинаются без фанфар. Никто в 1760 году не проснулся однажды утром с криком: “Вот это да, только что началась промышленная революция!” Даже цифровая революция много лет развивалась на втором плане: любители долгое время собирали персональные компьютеры, которыми затем хвалились в кругу таких же чудиков, например в