Р. К.: Да. Меня удивляло, почему мы встраиваем в технологии обычный интеллект, игнорируя эмоциональный. Именно с этого вопроса началась моя работа над докторской диссертацией. Затем во время одного из выступлений в Кембридже, когда я рассказывала, что хотела бы научить компьютер обращать внимание на мимику человека, какой-то аспирант спросил: «Вы знаете, что люди с расстройствами аутистического спектра тоже с трудом понимают выражения лиц и невербальное поведение?» С этого началось мое тесное сотрудничество с Кембриджским центром исследования аутизма.
Я позаимствовала собранные ими данные и начала обучать созданные мной алгоритмы распознавать эмоции. Результаты были многообещающими. Кроме выражений радости и грусти я смогла рассмотреть и такие нюансы, как растерянность, интерес, беспокойство и скука.
Когда этот инструмент смог послужить учебным пособием для людей, страдающих аутизмом, я утвердилась в желании продолжить работу.
После защиты диссертации я встретилась с профессором MIT Розалинд Пикард, которая написала книгу Affective Computing («Аффективные вычисления»). Именно с ней мы позже создали компанию Affectiva. Уже в 1998 г. Розалинд утверждала, что технологии должны уметь распознавать человеческие эмоции и реагировать на них.
Тогда наша беседа завершилась приглашением присоединиться к ее лаборатории Media Lab. Это был проект Национального научного фонда, в рамках которого моя технология чтения эмоций с интегрированной камерой применялась для работы с детьми с расстройствами аутистического спектра.
М. Ф.: Вы говорите об «эмоциональном слуховом аппарате» для детей с аутизмом. Это уже продукт или все осталось на уровне концепции?
Р. К.: В 2006–2009 гг. мы сотрудничали со школой для особых детей в Провиденсе, штат Род-Айленд. Мы предлагали детям протестировать нашу технологию и совершенствовали ее в зависимости от отзывов. Наконец, дети научились устанавливать зрительный контакт, а не просто смотреть на лица собеседников.
Они надевали очки с прикрепленной камерой, которая сначала транслировала пол или потолок, потому что на лицо они старались не смотреть. Но постепенно мы смогли наладить обратную связь в режиме реального времени, помогающую установлению зрительного контакта. После этого мы начали объяснять детям, какие эмоции проявляют люди. Это была очень интересная работа.
Напомню, что Media Lab – это уникальный отдел MIT, имеющий настолько прочные связи с промышленностью, что около 80 % финансирования поступает к нему от компаний из списка Fortune Global 500. Два раза в год у нас проходит так называемая Неделя спонсоров, во время которой мы рассказываем о проделанной работе. Если не будет результатов, проект просто перестанут финансировать.
После демонстрации прототипа у компании PepsiCo возник вопрос, нельзя ли применять наши наработки для проверки эффективности рекламы. Procter & Gamble хотела с их помощью определить отношение потребителей к их продукции. Toyota задумалась о возможностях мониторинга состояния водителей. А Bank of America – об оптимизации банковской деятельности. Мы решили привлечь еще несколько научных сотрудников для развития идей, которые интересовали наших спонсоров. Вскоре стало понятно, что речь идет уже не об исследованиях, а о коммерческой возможности.
Отход от научной работы меня немного пугал. Было понятно, что в существующих условиях о масштабном применении наших прототипов речи не шло, но появилась возможность выводить продукты на рынок и применять новые способы общения.
М. Ф.: Похоже, компания Affectiva имеет высокую клиентоориентированность.
Р. К.: Вы абсолютно правы. Мы с Розалинд ощутили себя родоначальниками нового течения и идейными лидерами, ответственными за этическую составляющую того, что мы делаем.
М. Ф.: Над чем сейчас работает компания Affectiva и какие у вас планы на будущее?
Р. К.: Миссия компании заключается в гуманизации технологий. Ведь технологии постепенно проникают в каждый аспект жизни. Интерфейсы все больше способны к диалогу, а устройства делаются восприимчивыми и социальными. У людей возникают своеобразные отношения с автомобилями, телефонами и виртуальными помощниками, такими как Alexa от Amazon или Siri от Apple.
Создатели этих устройств в настоящее время сосредоточены на таком аспекте, как когнитивный интеллект, и забывают об интеллекте эмоциональном. Но ведь успех человека в профессиональной и личной жизни определяется не только уровнем его IQ. Он зависит от того, насколько человек понимает состояние окружающих, может адаптировать свое поведение и влиять на других.
Все эти вещи требуют развитого эмоционального интеллекта. Если технология взаимодействует с людьми на регулярной основе, помогает человеку лучше спать, питаться, больше заниматься спортом, продуктивнее работать или развивать социальные навыки, она должна учитывать его психическое состояние. Я уверена, что постепенно такие интерфейсы станут повсеместными.
М. Ф.: Я слышал, что вы разрабатываете способ мониторинга концентрации водителей на дороге?
Р. К.: Да, но проблема в том, что существует множество ситуаций, которые нужно предусмотреть. Мы стараемся выбирать те из них, которые упираются в этические вопросы, и, конечно, ориентируемся на востребованность своих предложений на рынке.
Компания Affectiva начала свою деятельность в 2009 г. с тестирования рекламы, и, как я уже упоминала, сегодня мы обслуживаем четверть компаний из списка Fortune Global 500, помогая им понять, какой эмоциональный отклик вызывает у потребителей их реклама. До появления наших технологий единственным способом понять, достигнут ли желаемый эффект, были опросы. Тем, кто посмотрел рекламу, предлагали ответить, понравилась ли она, была ли смешной, вызвала ли желание купить продукт. Собранные таким способом данные нельзя считать достоверными.
Наша технология с согласия зрителей анализирует выражения их лиц во время просмотра рекламы. Постепенно накапливается массив данных, который позволяет сделать объективный вывод о том, какую именно эмоциональную реакцию вызывает конкретная реклама. Эти данные можно сопоставить, например, с желанием совершить покупку, сведениями о продажах и виральностью.
Наш продукт может отслеживать все ключевые показатели эффективности и связывать эмоциональный отклик с фактическим поведением потребителей. Им пользуются в 87 странах, от США до Китая и Индии. Он дает довольно надежные результаты и позволяет собирать данные со всего мира. Я бы сказала, что таких данных нет даже у компаний Facebook и Google. Ведь мы рассматриваем не фотографии в профилях, а живую реакцию.
М. Ф.: Вы анализируете в основном выражение лица или учитываете и другие вещи, например голос?
Р. К.: Года полтора назад мы решили рассмотреть не только мимику, но и другие факторы, позволяющие судить о реакции.
Известно, что при считывании состояния собеседника примерно 55 % данных человек берет от выражения его лица и жестов, около 38 % – от тона его голоса, скорости и энергичности речи и только 7 % извлекается из значения использованных слов!
Получается, что анализ тональности текстов путем выявления эмоционально окрашенной лексики задействует всего 7 % передаваемой в процессе общения информации. Мне нравится думать, что мы пытаемся охватить остальные 93 %, приходящиеся на невербальное общение.
Я создала группу, которая рассматривает просодические паралингвистические особенности общения, к которым относятся тон голоса и речевые события, такие как употребление междометий или смех. Мы используем так называемый мультимодальный подход.
М. Ф.: Зависят ли индикаторы эмоций, которые вы рассматриваете, от языка и культуры?
Р. К.: Такие базовые вещи, как выражение лица или даже тон голоса, универсальны. Улыбка везде остается улыбкой. Но существуют и дополнительные культурные нормы выражения эмоций. Люди могут усиливать выражение реакции, ослаблять или маскировать. Например, жители Азии менее склонны к проявлению негативных эмоций. Поэтому там можно говорить о такой вещи, как социальная улыбка, которая является просто проявлением вежливости, а не выражением радости.
Мы собрали уже такой большой массив универсальных данных, что смогли построить модели региональных норм и даже норм для отдельных стран, например для Китая. Именно это позволяет успешно проводить мониторинг эмоциональных состояний по всему миру.
М. Ф.: Тогда можно предположить, что вы работаете и над приложениями, направленными на увеличение безопасности, которые, к примеру, следят за степенью концентрации водителей и операторов опасного оборудования?
Р. К.: Да, с прошлого года автомобильная промышленность проявляет к нам интерес. Это здорово, потому что не только открывает перед компанией Affectiva большие рыночные возможности, но и позволяет поработать над двумя интересными проблемами.
Сейчас уже появились полуавтономные транспортные средства, такие как Tesla, но проблема безопасности по-прежнему стоит очень остро. Программное обеспечение от Affectiva позволяет проверять такие вещи, как сонливость, рассеянное внимание, усталость и даже опьянение. В последнем случае водитель получает предупреждение или программа вмешивается в процесс управления. Вмешательство может принимать разные формы, от смены музыки до струйки холодного воздуха, от затягивания ремня безопасности до высказывания: «В настоящий момент я могу обеспечить более безопасное вождение и поэтому беру на себя контроль».
Вторая задача, над которой мы работаем, связана с обслуживанием пассажиров. Ведь в условиях широкого применения полностью автономных транспортных средств важно, чтобы автомобиль мог сам определять состояние пассажиров: их количество, какие отношения их связывают, беседуют ли они друг с другом, есть ли в машине ребенок. Зная все эти вещи, он сможет персонализировать пользовательский опыт.
Автоматика способна рекомендовать маршрут или какие-то продукты. Фактически автомобильные компании, особенно высшего класса, такие как BMW или Porsche, получают новую бизнес-модель. До сих пор речь шла только об опыте вождения. Современный транспорт – очень перспективный рынок, и мы прикладываем все усилия для создания новых решений, которые потребуются в этой отрасли.