Когда iPhone только вышел, камера даже была подвергнута критике за то, что она сделана не на должном уровне. В 2007 году у прочих телефонных производителей, вроде Nokia, камеры, встроенные в более простенькие телефоны, были на порядок лучше.
Лишь обзаведясь крупным пользовательским сообществом, в котором многие пользовались Instagram и Hipstamatic, Apple увидела и по-настоящему оценила потенциал телефонной камеры. Сегодня на рынке смартфонов ведётся борьба, этакая гонка вооружений – у кого больше функций, и поэтому значимость камеры сильно возросла, как возросла и её сложность.
Модуль камеры в iPhone «состоит из двухсот различных деталей», поведал глава отдела Apple по разработке камер, Грэхем Таунсенд, в 2016 году в передаче «60 минут». Он рассказал, что на одно только улучшение камеры было брошено восемьсот сотрудников, и в итоге в iPhone 6 мы имеем 8-мегапиксельное устройство с датчиками Sony, модулем стабилизации и собственным процессором обработки изображений. (Речь идёт об одной из камер вашего iPhone, так как в каждом iPhone есть по две камеры: та, о которой сейчас речь, и так называемая «селфи-камера».)
И дело тут не в одних только линзах. Даже так – далеко не в линзах, а в датчиках и программном обеспечении, их окружающих.
Бретт Билбри сидел в конференц-зале Apple и старался не поднимать взгляда. Справа сидел его начальник, Майк Калберт, а вокруг было полным-полно народу. Все ждали начала совещания и уже расселись по своим местам. На ногах оставался только Стив Джобс.
«Стив мерил шагами зал, ходил туда и сюда, и все старались сделаться как можно незаметней, чтобы не привлечь его внимания, – рассказывает Билбри. – Кое-кто опаздывал, и Стив уже начинал терять терпение. А мы сидели все и думали: „Только не смотри на нас, только не замечай“». О Стиве Джобсе в скверном расположении духа ходили легенды.
На столе в зале стоял чей-то ноутбук с навесной камерой iSight. Джобс внезапно остановился, повернулся к владельцу ноутбука, бросил взгляд на внешнюю камеру, торчавшую поверх машины, и процедил: «Убожество какое-то». iSight была разработана в Apple, но это не уберегло её от гнева Джобса. «Стив не любил внешнюю iSight, потому что ненавидел разные выпуклости, – рассказывает Билбри. – Ему нравилось всё гладкое и сделанное со вкусом, а всё остальное просто бесило».
Кстати, iSight конструировали, помимо прочих, Тони Фаделл и Энди Григнон, два человека, которым впоследствии предстояло стать главной движущей силой iPhone. Бедный владелец iSight и ноутбука так и застыл от страха.
«На его лице ясно читалось: „Я не знаю, что ответить“. Он просто окоченел, – рассказывает Билбри. – И тогда я не думая бросил: „Я могу всё исправить“».
Так-так.
«Стив посмотрел на меня так, словно вот-вот выпалит: „Валяй, поделись своим откровением“. А мой босс, Майк Калберт, хлопнул себя по лбу и тихо произнёс: „Ну всё, приехали“».
В свет готовился выйти новый iMac, и Apple в те дни меняли ему процессорную систему на чипы, изготовленные Intel, – сложная сверхсекретная задача, на которую ушло немало ресурсов компании. Все знали, как сильно переживает Джобс, потому что, кроме новой кристальной архитектуры Intel, презентовать было практически нечего, а значит, новый продукт почти наверняка не впечатлит публику. Глава Apple лихорадочно выискивал привлекательные и перспективные улучшения для iMac.
Джобс подошёл к Билбри, и в зале повисла гробовая тишина.
– Хорошо, что ты можешь сделать? – спросил он.
И Билбри ответил:
– Что ж, можно встроить датчики изображения КМОП[23] и…
– Ты знаешь, как сделать так, чтобы всё заработало? – не дал договорить ему Джобс.
– Да, – усилием воли выдохнул Билбри.
– Хорошо, через пару недель жду презентацию – сможешь? – выпалил Джобс с нетерпением.
«И я сказал, что да, через пару недель всё сделаем. И услышал, как Майк снова хлопнул себя по лбу», – рассказывает мне Билбри.
После совещания Калберт отвёл Билбри в сторонку. «Ты о чём вообще думаешь? – набросился он. – Если не справишься, он уволит тебя».
Бретт Билбри не был новичком в данной области, однако сейчас ставки резко возросли, да и две недели времени – слишком короткий срок. В девяностые годы он основал и стал главой компании под названием Intelligent Resources. Apple наняла его в 2002 году, предложив управлять отделом по архитектуре мультимедиа. Его позвали, так как он обладал богатым опытом в области обработки изображений: компания Билбри выпустила «первую видеокарту, которая перекинула цифровой мостик от компьютера к вещательной видеоиндустрии», – рассказывает он. Их продукт Video Explorer «был первой компьютерной видеокартой, которая поддерживала HD-видео». Apple наняла его потому, что, как и в любой другой технологической компании, у неё имелись проблемы с видео, и нелепая внешняя камера являла собой лишь вершину айсберга.
«Помните, как было в 2001 и 2002 годах? Видео на ноутбуках тогда представляло собой маленькое окошко с пятнадцатью кадрами в секунду и жуткими искажениями в изображении, артефактами». Артефакты сжатия – это то, что вы видите, когда при медленном интернете пытаетесь посмотреть ролик на YouTube или когда раньше пытались посмотреть DVD на стареньком компьютере с забитым жёстким диском – вот тогда перед вами и появляется то самое ужасное искажение изображения в виде мозаичных блоков. Такое случается, когда система выполняет так называемое сжатие с потерями, которое устраняет избыточность медиаданных до тех пор, пока данные не сожмутся настолько, чтобы уместиться на свободном месте диска (или, если взять пример с YouTube, смогут быть переданы в ограниченной полосе пропускания). Если программа не может восстановить достаточное количество данных для проигрывания исходного видео, качество резко падает, и вы получаете артефакты. «Проблема, с которой мы столкнулись, состояла в том, что ты тратишь половину времени каждого кадра на его декодирование, а затем другую половину – на попытки убрать как можно больше артефактов, чтобы картинка не смотрелась совсем уж паршиво».
Непростая ситуация усугублялась ещё и тем, что потоковая передача видео постепенно становилась одной из главных функций, используемых в компьютере. Если суметь справиться с проблемой, то можно запросто разместить iSight внутри устройства.
«Однажды, когда я принимал душ, на меня снизошло озарение, – рассказывает Билбри. – Если мы не создаём блоки, то нам и не нужно с ними бороться. Теперь это кажется очевидным, но как реконструировать видео, не разбивая на блоки?» По его словам, он решил сделать блок размером во весь экран. Он написал алгоритм, который позволял устройству избежать деблокировки, делая весь кадр готовым к воспроизведению. «Так что мы смогли проигрывать полные видеопотоки на портативном Mac. Один из моих патентов касается именно алгоритма деблокирования». Обладая такими знаниями, он был готов разобраться с проблемой iSight. «Вот что я припас в рукаве: преобразователи изображений с ПЗС-матрицей[24] – чем и являлась iSight – были куда качественнее, чем небольшие дешёвые КМОП-преобразователи».
В цифровых камерах используется два вида датчиков: приборы с зарядовой связью, или ПЗС, и комплементарные металл-оксид-полупроводники, или КМОП. ПЗС представляет собой светочувствительную интегральную схему, которая хранит и отображает данные требуемого изображения таким образом, что каждый пиксель преобразуется в электрический заряд. Интенсивность этого заряда связана с определённым цветом в цветовом спектре. В 2002 году ПЗС выдавали более качественное изображение, но были медлительнее и тратили много энергии. КМОП были дешевле, меньше и позволяли ускорять обработку видеоданных, однако с ними в комплекте шёл целый набор проблем. Но у Билбри был план.
Он решил отсылать видео из камеры в компьютерный графический процессор, где дополнительная поддержка помогла бы справиться с цветовой коррекцией и привести видео в порядок. По сути дела, он мог передать часть работы датчика видеокамеры компьютеру.
Его команда приступила к переработке iSight в устройство для грядущей презентации, до которой оставались считаные дни. «Я разработал кучу видеоалгоритмов для улучшения, очистки и фильтрации, и многие из них понадобились нам при создании прототипа», – рассказывает Билбри. Один из его лучших инженеров занялся изготовлением аппаратного обеспечения для демо-версии. Однако сложнейшей частью работы оказалась вовсе не разработка, а согласование. Построение прототипа означает, что нужно разузнавать, как работают остальные части компьютера, а значит, приходится иметь дело с сотрудниками других отделов.
Никто не хотел так радикально переделывать всю структуру. Мне удалось добиться своего лишь потому, что я рассказал Стиву о сложившейся ситуации прежде, чем кто-либо успел меня остановить.
«Согласование всего процесса было сущим кошмаром, – вспоминает Билбри. – Никто не хотел так радикально переделывать всю структуру. Мне удалось добиться своего лишь потому, что я рассказал Стиву о сложившейся ситуации прежде, чем кто-либо успел меня остановить.
А уж если получишь добро от Стива, то никто не встанет у тебя на пути. Если хочешь, чтобы работа пошла, просто говоришь: «Видите ли, таково пожелание Стива», – и у тебя полная свобода действий, потому что никому не захочется идти к Стиву и узнавать, действительно ли он это одобряет, и никто не станет задавать вам вопросы. Так что если вам нужно, чтобы последнее слово на совещании осталось за вами, лишь помяните: «Стив!» И все сразу: «Твою мать…»
Новые алгоритмы и новое оборудование были готовы: камера встраивалась в каркас ноутбука, так что не было никаких выступающих частей. Накануне презентации команда Билбри пришла в конференц-зал. Они всё перепроверили, и более компактная система на основе КМОП просто «летала». Четкое видео из крохотного модуля, который вписывался в корпус ноутбука.