И вот Пенни спросила, нельзя ли сделать перчатку DataGlove для гориллы. Разумеется! Это же замечательный рынок сбыта для компании, которая находится в отчаянном положении. О чем я думал?
Я привез в фонд Gorilla Foundation дорогущую тестовую перчатку, которую изготовил за свой счет, но оказалось, что у Коко началась течка, и мое присутствие ее слишком возбуждало. Вместо этого Пенни предложила испытать перчатку на молодом самце по кличке Майкл.
Пенни натянула перчатку на лапу Майкла, он недоуменно посмотрел на странную штуку, а потом сожрал ее, молниеносно проглотив целиком.
Через несколько месяцев мне позвонили. «Помните перчатку? Она выходит». Очевидно, то, что нельзя переварить, проходит через пищеварительный тракт горилл полуокаменелым. Я хотел вернуть ее назад! Это же не просто объект. Мы поспорили. Увы, перчатка осталась у фонда Gorilla Foundation, а собственность – это девять десятых закона, так что я не могу показать вам, как она выглядит.
Осьминог, робот-дворецкий
А как насчет активной гаптики, то есть устройства, которое не просто считывает движения вашего тела, но предает силу, сопротивление, тепло и другие ощущения от прикосновений?
В экспериментах с гаптикой 1970-х годов участвовали огромные и страшные роботизированные руки, которые можно было запрограммировать так, чтобы они повторяли действия в виртуальном мире. Фред Брукс работал с этими здоровенными железяками в Чапел-Хилл. Их часто крепили к потолку, как и первые шлемы Айвена.
Роботизированная рука активна; она может создавать впечатление прикосновения к виртуальному объекту. Вы двигаете рукой, рука перемещает курсор, виртуальный инструмент или руку аватара. Когда такое виртуальное продолжение вашей руки встречает препятствие, например поверхность виртуального стола, робот отказывается двигаться сквозь нее. Вы чувствуете, что столкнулись с поверхностью, потому что вам диктуют это настоящие ощущения, а не синестезия. Ваш мозг связывает воедино гаптический сигнал робота с изображением стола в компьютерной графике, и, пока вы не проявите настойчивость, вы будете ощущать физическое прикосновение к столу.
Двадцать четвертое определение VR: кибернетическая конструкция, измеряющая исследовательский аспект человеческого восприятия, чтобы его нейтрализовать.
Если гаптическое устройство функционирует нормально, то при попытке толкнуть виртуальный пуфик вы почувствуете мягкую упругость, а не твердую устойчивость стола. Точно так же, если вы поднимете виртуальную тяжесть, роботизированная рука может потянуть вниз вашу настоящую руку, имитируя гравитацию.
Это называется «силовая обратная связь», и рассказать о ней проще, чем использовать. Всегда огромной проблемой было уменьшить время ожидания и повысить точность – так же как со зрением в виртуальной реальности. Но это было лишь началом всех трудностей. Еще нужно выяснить, как закрепить роботизированную руку, а затем следует самое важное: эта конструкция никаким образом не должна причинить вам вреда, даже если она по-дурацки запрограммирована.
Восприятие силовой обратной связи интересно тем, что в нем задействовано все тело. Если надавить на поверхность стола, реального или виртуального, его прочувствует все ваше тело. Если вы стоите, то весь ваш скелет приспосабливается к необходимости справляться с реальностью, в которой стол сопротивляется вашему воздействию. Если вы сидите, приспосабливаются ваша рука и спина. Вы чувствуете положение вашего тела и напряжение, которое на него воздействует – эта часть гаптических ощущений называется проприорецепцией, – а также тактильные ощущения, исходящие из той области, которой вы давите на стол.
Силовая обратная связь – одно из узких направлений виртуальной реальности, которое пользуется коммерческим успехом по всему миру вот уже много лет. Поскольку эта книга рассказывает о личном опыте, а не описывает историю развития этой области науки, я не стану упоминать всех исследователей силовой обратной связи, а расскажу о том, кто симпатичен мне больше всех остальных. Кен Сейлсбери из Стэнфорда. Одно из устройств, в изобретении которого он участвовал, Phantom, многие годы являлось основным компонентом систем виртуальной реальности. Это замечательная дружественная компьютеру роботизированная рука, с помощью которой можно управлять виртуальным инструментом.
Устройства силовой обратной связи, о которых я рассказываю на страницах этой книги, широко применяются в медицине. С их помощью можно представить себе, что вместо ручки вы держите, например, скальпель. Что, собственно, и происходит в хирургических симуляторах.
Однажды хирург позволил мне выполнить часть лазерной процедуры на моей же сетчатке; я помогал проектировать инструментарий. Разумеется, этот врач нарушил правила, так что имени его я не называю.
Какими бы замечательными ни были устройства силовой обратной связи, у них есть свои ограничения. Начнем с того, что они жестко закреплены, и из-за этого в них сложно двигаться. В голову сразу приходит вариант снабдить функцией силовой обратной связи роботов, которые всегда смогут развернуться и поспеть за движениями вашей руки. Или сделать подвижным пол, чтобы робот оставался на месте, а двигались вы. Мы испробовали оба этих варианта. Оба они сложные.
И Кен, и я, и еще несколько исследовательских групп, в том числе и Генри Фукс, называли это «стратегия дворецкого».
И еще немного подробностей о том, как должна была работать стратегия: представьте, что вы в виртуальном мире и хотите хлопнуть ладонью по крышке виртуального стола. Теперь предположим, что рядом суетится внимательный робот. (Вы, конечно же, не видите робота, потому что смотрите на виртуальный мир, созданный компьютером.) Робот держит в руке поднос, как дворецкий. Как только ваша рука начинает резко опускаться вниз, робот просчитывает, что вы должны ударить по виртуальной столешнице, кидается вниз и вовремя подставляет вам под руку физический поднос на уровне крышки виртуального стола, создав для вас иллюзию того, что стол реален.
Пожалуйста, отбросьте сейчас вопросы безопасности; у нас сейчас просто мысленный эксперимент…
Если бы вы провели пальцами по поверхности подноса дворецкого, то довольно скоро достигли бы края, потому что поднос должен быть небольшим, чтобы робот мог повернуться, не задев вас… Но столы могут быть большими. В таком случае роботу-дворецкому придется перемещать поднос, чтобы успеть за движениями вашей руки и создать у вас иллюзию того, что стол широк. Но тогда вы не почувствуете, как поверхность движется навстречу вашим пальцам, когда начнете водить по ней рукой.
Здесь мы подходим к другому аспекту гаптики – тактильному ощущению, которое исходит от сенсорных клеток нашей кожи.
Тактильная обратная связь удивительна потому, что это целая экосистема определенных ощущений. В коже находится множество разных типов сенсорных клеток. Некоторые ощущают тепло, некоторые – шероховатость, некоторые – податливость, а многие клетки отмечают лишь изменения качеств поверхностей, а не сами качества.
Некоторые сенсорные клетки чувствительны к текстурам. Ладно, теперь глубоко вдохните: чтобы дать клеткам, распознающим текстуры, ощущения, которых они ждут, на поверхность подноса, который протянет вам робот-дворецкий, будет нанесено специальное покрытие, которое будет прокручиваться во всех направлениях, имитируя неподвижность, когда поднос движется. Так мы сможем создать иллюзию поверхности, которая шире, чем она есть на самом деле. Знаю, что этот механизм непросто представить себе или понять принцип его работы из словесного описания. Даже профессионалы в области исследований виртуальной реальности могут сбиться и запутаться во всех этих устройствах, которые нам приходится конструировать.
Ну ладно, а как быть, если у вас под пальцами должен оказаться самовар или, еще хуже, цыпленок? У самовара изогнутая поверхность, так что робот должен подставить под ваши прикосновения объекты, которые соответствуют изгибам самовара. Как это осуществить?
Природа дает нам подсказки. Есть животные, которые могут изменять свою форму, например мимикрирующий осьминог. Мы с Кеном задумали сделать так, чтобы мимикрия робота напоминала мимикрию осьминога. Этот робот был бы способен принимать миллионы различных форм быстро и бесшумно.
Он принял бы форму той части самовара, к которой вы собрались прикоснуться. А ваш мозг поверил бы, что перед вами целый самовар.
На теле некоторых высших головоногих могут проступать орнаменты, которые маскируют их под разные текстуры. Мы начинаем рассматривать экспериментальные искусственные материалы, которые могли бы хоть частично справиться с этой нелегкой задачей. Имитировать твердый металл относительно легко. Но может ли материал исказить сам себя, чтобы ощущаться, как бок цыпленка? Перья и все прочее? Может быть, когда-нибудь это произойдет.
Думаю, вы поняли, что компоненты общей схемы активной гаптики можно уже, по крайней мере, вообразить. Мы составили долговременный план изготовления «робота-осьминога-дворецкого», который обеспечивал бы такой широкий спектр гаптической обратной связи, что можно было бы отпустить свое воображение, как это уже возможно в случае с визуальной стороной виртуальной реальности.
Но… какая же это морока. Ни у кого из нас не хватало терпения довести все намеченное до конца. Имейте, пожалуйста, в виду, что я представил наши планы в предельно упрощенном виде.
Проблема с активной гаптикой – то есть гаптикой, которая отвечает противодействием на твои действия, – заключается в том, что она стремится отойти от неопределенности. Можно разработать проект устройства, подобного Phantom, имитирующего ощущение скальпеля в руке, но сложно даже представить устройства, которые смогут предвосхитить силовое воздействие и ощущения невообразимого числа предметов всевозможных виртуальных миров.
Неопределенность – основа виртуальной реальности.
Я говорю сейчас о гаптике в полноценной классической виртуальной реальности. В варианте смешанной реальности, в которой вы видите, слышите и осязаете как реальный мир, так и добавленные к нему виртуальные компоненты, ситуация изменится. В этом случае программное обеспечение сможет подобрать физические объекты окружающей обстановки и сделать из них импровизированные опоры для гаптической обратной связи. Например, в ней можно перемещать виртуальный ползунок по краю реально существующего стола. Так легче задавать значения виртуального ползунка, чем при движении рукой в воздухе. Ползунок можно отрегулировать, чтобы он был точным и стабильным, и так мы избе