Статистика окружает нас повсюду. Когда мы делаем покупки, общаемся с друзьями в соцсетях, читаем ленту новостей, переходим по рекламным ссылкам и играем в игры, то генерируем огромные объемы данных. Игровые студии все чаще используют телеметрию, чтобы собрать максимум информации о поведении игроков. И главная проблема игровой аналитики заключается вот в чем: что делать с этим гигантским массивом данных? Безусловно, очень круто выводить сложные графики на совещаниях с руководством, как и полезно видеть массовый отток игроков, – однако верно истолковать данные не так-то просто. Без дата-аналитиков тут явно не разобраться, поэтому приглашайте этих специалистов и прислушивайтесь к ним.
Под «аналитикой» мы будем понимать как сбор данных, так и их анализ. Ее можно считать частью системы business intelligence (BI), задача которой – помочь предприятию принимать решения по маркетингу/изданию исходя из проанализированных данных. Аналитика – это сильный союзник, помогающий UX-аналитикам и команде разработки в целом принимать решения, связанные с геймплеем. UX-менеджеры играют важную роль в наведении мостов между аналитиками, разработчиками и BI-специалистами, обеспечивая единое понимание того, какой опыт ожидается от проекта.
15.1. Польза и вред телеметрии
Телеметрия (т. е. сбор данных на расстоянии) может быть как благом, так и проклятьем. Благо она потому, что только с ее помощью вы узнаете, как на самом деле ведут себя игроки в домашней обстановке, причем сразу все. Ждите откровений: сколько человек играет в вашу игру? как долго длится средняя сессия? какие события заставляют бросить игру? И т. д., и т. п. Однако телеметрия может обернуться злом, если потреблять ее неосторожно, без вдумчивого анализа и понимания ограничений больших данных. Разработчики порой так любят щеголять термином «игровая аналитика», забывая при этом, что данные нужно анализировать (посредством статистического анализа, прогностического моделирования и т. п.). «Аналитика – это процесс обнаружения и описания закономерностей в данных для решения проблем в бизнесе, обоснования позиции руководства, принятия мер и/или улучшения работы предприятия» [Drachen и др., 2013].
Термин «большие данные» (Big data) в последнее время стал очень модным. Мы слышим, как успешные компании собирают терабайты информации о поведении клиентов. Однако данные сами по себе ничего не дают, так что просто собирать их бесполезно – нужно уметь извлечь из них ценные сведения. Как подчеркивают Ламбрехт и Такер [2016], «большие данные только тогда ценны для бизнеса, когда сочетаются с управленческими, инженерными и аналитическими процессами». Проблема в том, что многие, к кому в руки попадают необработанные данные и инструменты для их визуализации, зачастую имеют весьма поверхностное представление о статистике (и почти ничего не знают о когнитивных искажениях).
Моя позиция такова: если у вас нет должной подготовки, то поручите работу с данными дата-аналитикам, иначе велик риск наделать неверных или ошибочных выводов. Да, знать разницу между средним значением, медианой и модой для начала неплохо, но явно недостаточно.
15.1.1. Статистические ошибки и другие ограничения данных
В своей книге «Как лгать при помощи статистики»[57] Дарелл Хафф объясняет, что статистика очень наглядна, но, к сожалению, ее часто используют для раздутия, запутывания и упрощения. В этом смысле у нее немало общего с нейронауками. Видя перед собой визуализацию данных, нужно помнить о следующем.
• Репрезентативность выборки. Действительно ли источником данных выступала целевая аудитория? Участники закрытого бета-тестирования могут вести себя радикальнее, чем основная масса игроков, которые будут играть в релиз. Нельзя просто взять и экстраполировать результаты, полученные в небольшой выборке (как часто бывает на бета-тестировании), на широкую аудиторию. Выборка должна быть максимально разнообразной.
• Является ли результат статистически значимым? Среднее различие в поведении двух групп может не иметь значения, если внутри групп слишком большая вариация. Например, возьмем две команды по четыре человека, участвующие в PvP-матче[58]. В команде А два игрока набрали по 13 фрагов каждый, а остальные два – по 15 каждый. В команде Б один игрок убил двоих, другой – четверых, третий – семнадцать, а четвертый – тридцать три противника. В обоих случаях среднее (арифметическое) значение – 14, но вы невооруженным глазом видите, что участники команды А примерно равны между собой, тогда как состав команды Б более разношерстный. Так что при сравнении данных учитывайте разброс внутри группы, ведь разница в средних значениях может быть случайной. Степень значимости данных помогают определить доверительные интервалы (см. главу 14).
• Взаимосвязь не есть причинность. Скажем, данные, собранные на PvP-шутере, показывают: чем дольше игроки настраивают оружие (переменная А), тем реже погибают в матче (переменная Б). Иными словами, взаимосвязь между А и Б есть. Однако сам факт взаимосвязи не говорит о том, зависят ли эти величины друг от друга и каким образом. Может, А влияет на Б, может, наоборот, а может, обе зависят от третьей переменной. Или вообще взаимосвязь – это просто совпадение.
• Данные – это не информация, а информация – это еще не вывод. Первым делом информацию необходимо извлечь – прежде всего путем удаления лишних данных. Далее информацию следует интерпретировать и отфильтровать от шума. Если того, что осталось, хватает для принятия решения, то можно переходить к выводам. Сбор громадных массивов просто из одержимости «большими данными» – нецелесообразная трата времени и ресурсов.
• Плохие данные хуже, чем отсутствие данных вообще. Если флаги телеметрии не протестированы должным образом или в системе сбора данных есть баги, то вы, сами того не подозревая, получите искаженную картину. Допустим, вы будете ошибочно полагать, что 65 % ваших игроков, запустивших обучающую миссию, прошли ее, тогда как просто не было флага, который срабатывал бы, когда миссию покидают нестандартным способом (скажем, не через главное меню, а напрямую). Таким образом возникает дыра, в которую просачиваются игроки, не завершившие обучение, а статистика раздувается.
• По данным легко увидеть, что происходит, но трудно понять почему. Телеметрии недостает контекста. Например, вы видите, что в определенный день число игроков в вашу игру упало сильно ниже среднего. Почему – кто знает? Может быть, вышел долгожданный хит, который отвлек на себя внимание части аудитории. Или, например, игроки не запускали консоль, потому что смотрели по телевизору решающий матч. Возможно, были проблемы с сервером, и игроки не могли подключиться либо наблюдали серьезные лаги. Может, вообще произошел сбой при сборе данных. Наконец, спад мог быть случайным.
• Проводя эксперимент, всегда имейте контрольную группу для сравнения результатов. Например, если вы хотите узнать, чем отличаются ваши наиболее преданные игроки (в какие игры они обычно играют, какие активности предпочитают и т. п.), мало просто разослать им анкеты. Нужно отправить такие же анкеты игрокам, менее заинтересованным в вашей игре, а потом сравнить результаты и выявить по-настоящему отличительные характеристики преданных игроков.
Вот лишь несколько наиболее распространенных ошибок в работе со статистикой. Надеюсь, этого хватит, чтобы вы и ваша студия стали ответственно относиться к работе с данными. Но и это еще не все: необходимо помнить об ограничениях человеческого сознания – в первую очередь о когнитивных искажениях.
15.1.2. Когнитивные искажения и другие ограничения человеческого сознания
Восприятие субъективно, на него влияют наши знания и ожидания, из-за чего мы можем неверно истолковать график (отсюда необходимость серьезно относиться к визуализации данных). Расчеты и критическая оценка очень нагружают мозг, а так как мы от природы склонны облегчать себе жизнь, то часто удовлетворяемся скоропалительными выводами, которые вполне могут быть ошибочными или недостаточно продуманными.
Есть такая штука, как самосбывающиеся пророчества. Допустим, вы опасаетесь, что ваша игра не понравится игрокам соревновательного склада, потому что в ней, как вам кажется, недостает соревновательных механик. Вы просите своего любимого UX-аналитика разослать всем игрокам, записавшимся на закрытое бета-тестирование (а значит, хочется верить, представляющим вашу целевую аудиторию), анкеты. Туда включен вопрос: «Какие элементы нравятся вам в играх больше всего?» По итогам анкетирования оказывается, что большинство опрошенных не очень обращают внимание на соревновательные механики. Вы заключаете, что ваша целевая аудитория не соревновательная, а значит, беспокоиться не о чем. Вот только на анкеты ответили лишь те игроки, которых игра зацепила, а именно им соревновательность ни к чему (собственно, поэтому игра им понравилась). А соревновательные игроки, записавшиеся на бета-тестирование, но не впечатлившиеся игрой, просто проигнорировали опрос. Итог? Данный сегмент аудитории остался неохваченным.
Подобным образом устроен извечный спор об игроках женского пола. Существует устойчивое представление, будто основную массу игроков в MMORPG (многопользовательские онлайновые ролевые игры) и MOBA (многопользовательские онлайновые боевые арены) составляют мальчишки. Следовательно (хотя с какой, собственно, стати?), в игре должны быть сверхсексуализированные женские персонажи. Да, секс – сильный стимул, но, как мы выяснили в главе 6, далеко не главный и не единственный. К тому же большое количество оголенных женских персонажей отпугнет потенциальных игроков-женщин, которым в противном случае игра могла бы понравиться. И снова целый сегмент аудитории оказывается неохваченным. Подумайте об этом на досуге.
Кстати об устойчивых представлениях. Существует весьма неприятное когнитивное искажение под названием «предвзятость подтверждения»: мы склонны искать информацию, подтверждающую наши убеждения, игнорируя все, что им противоречит. Такая предвзятость – чума эпохи Интернета. Если вы, скажем, верите, что деятельность человека не приводит к глобальному потеплению, то легко найдете информацию, которая с этим согласуется, при этом оградив себя от огромного числа фактов, доказывающих техногенный характер изменения климата (с чем согласны по меньшей мере 97 % климатологов). Для этого достаточно потреблять информацию на конкретных сайтах, где используются особые алгоритмы, прогнозирующие, какая информация скорее привлечет ваше внимание. Однако то, что хорошо для таргетированной рекламы, не очень способствует формированию объективной картины мира.
Предвзятость подтверждения существовала и до появления соцсетей, однако теперь находиться внутри комфортного информационного пузыря стало гораздо легче. Как заметил на конференции TED в 2006 году статистик Ханс Рослинг, ныне покойный, «главная проблема, как я ее вижу, – не невежество, а укоренившиеся идеи». Думаю, этого достаточно, чтобы вы начали более разборчиво относиться к массивам данных.
Необходимо учитывать и когнитивные искажения аудитории, чтобы лучше понимать, почему игроки ведут себя тем или иным образом и что с этим делать (или не делать). Рассмотрим пример, описанный Дэном Ариэли [2008]. На сайте одного журнала предлагалось три варианта подписки.
А. Годовая подписка на онлайн-версию за $59.
Б. Годовая подписка на печатное издание за $125.
В. Годовая подписка на онлайн-версию и печатное издание за $125.
Цена у Б и В одинаковая ($125), но вариант В явно выгоднее. Заинтересовавшись, Ариэли решил провести эксперимент, предложив 100 студентам MIT выбрать один из вариантов. Большинство (84 студента) выбрали вариант В, 16 человек выбрали А, вариант Б не выбрал никто. И правда, кто согласится на меньшую выгоду, когда за те же деньги можно приобрести больше? Далее Ариэли убрал вариант Б и повторил эксперимент, но уже с другой группой. На этот раз большинство (68 студентов) выбрали вариант А, а оставшиеся (32 человека) выбрали вариант В. Данный случай получил название «эффекта приманки», когда один вариант (Б) вводится только для того, чтобы другой (В) выглядел более привлекательным.
Отсюда следует, что наше поведение зависит от окружения. Соответственно, видя только результаты действий игроков, но не зная, чем эти действия продиктованы, сделать правильные выводы трудно. И правда, если в примере выше просто взглянуть на конверсию и убрать «никому не нужный» вариант Б, то в итоге можно лишиться немалой прибыли.
Мы живем в «век информации» и потребляем ее в больших количествах. Во многих студиях принято держать игровую и коммерческую аналитику в открытом доступе для быстрого и автономного принятия решений. Проблема с такого рода «самообслуживанием» в том, что если сотрудники не знают о недостатках статистики и когнитивных искажениях, то эта практика приносит больше вреда, чем пользы.
Например, кто-то заметил искусственную закономерность в данных и убедил программистов внести изменение, которое в итоге навредило пользовательскому опыту или монетизации. Более того, даже профессионалы, если они не взаимодействуют с другими подразделениями (аналитика, UX-аналитика, разработка, маркетинг и т. д.), могут не получить ценных сведений, которые помогли бы им увидеть данные в новом свете.
Студии любят меряться объемами обрабатываемых данных. Это сейчас модно. Однако полностью полагаться на данные не стоит. Вместо этого, как считает мой коллега Бен Льюис-Эванс, нужно относиться к данным критически. Студия должна не реагировать на данные, а принимать взвешенные решения, опираясь на них. От себя я бы добавила, что решения следует принимать исходя из тщательного анализа информации, извлеченной из данных, на основе ранее выдвинутых гипотез.
Это значит, что нельзя ограничиваться только аналитикой. Нужно принимать в расчет информацию из разных источников, а для этого в студии должен быть налажен диалог в рамках общей UX-стратегии.
15.2. UX и аналитика
Игровая телеметрия очень полезна, когда нужно понять, где игроки испытывают наибольшие затруднения. В посте на сайте Gamasutra[59] Джонатан Данкофф объясняет, как Ubisoft применяла телеметрию при разработке игр серии Assassin’s Creed [Dankoff, 2014]: с ее помощью они выявляли миссии, в которых игроки массово проваливались, и непредусмотренные пути прохождения, что помогало команде исправлять эти недостатки.
Чтобы извлечь всю возможную пользу из аналитики, нужно поддерживать взаимодействие между разными командами. Важную роль в этом играют UX-исты, выступающие посредниками между командой разработки (планируемый опыт) и командой маркетинга (целевая аудитория), и, в идеале, с командой издателя (коммерческие цели). А поскольку и UX-аналитики, и дата-аналитики работают в рамках научного метода, хоть и применяют разные инструменты, они дополнят друг друга.
Дата-аналитики оперируют количественными данными большой выборки пользователей, играющих в естественной среде (например, дома). Соответственно, они могут сообщить, что происходит в игре на самом деле: допустим, многие игроки часто погибают в определенном участке игры. Однако, как упоминалось выше, количественным данным недостает контекста: они отлично демонстрируют, что произошло, но не могут объяснить почему.
И напротив, UX-аналитики оперируют в основном качественными данными из UX-тестов, проведенных в лабораторных условиях, где участвуют небольшие группы игроков, которые не могут просто взять и бросить игру. Главное преимущество этого подхода в том, что он помогает понять, почему игроки ведут себя так или иначе (см. главу 14). Например, можно выявить конкретный недостаток юзабилити, который приводит к гибели игроков на определенном участке игры (например, для победы над определенным врагом нужно определенное оружие, но непонятно, где его искать). Однако UX-аналитики не в состоянии с ходу объяснить, насколько значимо поведение, замеченное в лаборатории, с точки зрения массовой аудитории, особенно когда речь идет не о явных проблемах с юзабилити.
Объединить сильные стороны обоих подходов можно, только сочетая количественную статистику с качественным изучением пользователей [Hazan, 2013; Lynn, 2013]. Как минимум один UX-аналитик и дата-аналитик в паре должны тесно сотрудничать с разработчиками, либо в команде должны присутствовать исследователи широкого профиля [см. Mack, 2016]. UX-анализ и аналитика вместе могут координировать работу команд разработки, маркетинга и издания, требуя от них гипотезы и метрики, которые впоследствии помогут всем проанализировать статистику, выявить проблемы и подобрать решение.
15.2.1. Гипотезы и проверочные вопросы
Выявлять релевантные паттерны среди огромных массивов данных без гипотез и проверочных вопросов – все равно что искать иголку в стоге сена. Не нужно собирать все данные обо всех возможных действиях в игре – только значимые с точки зрения геймплейных и коммерческих целей. Это данные, которые дают информацию, необходимую для принятия верных решений в соответствии с вашими намерениями. Как упоминает в эссе ниже BI-аналитик Мари де Лезелюк, необходимо сформулировать гипотезы и четко поставить задачи. Помимо этого, вам (точнее, вашему дата-аналитику) понадобится провести предварительный анализ, например, чтобы выделить кластеры – обособленные группы пользователей, ведущих себя определенным образом, имеющих определенные пристрастия или как-то по-особенному тратящие деньги. Также будет полезен факторный анализ, позволяющий определить, какие факторы сильнее всего влияют на удержание игроков (т. е. что делают или не делают игроки, которые бросают игру, в отличие от тех, кто остается). Также неплохо было бы знать, какие пути прохождения чаще всего предпочитают, какие предметы разблокируют, в какие миссии играют, каких героев выбирают и т. д. Поскольку реализация телеметрических флагов и их тестирование – процесс долгий и трудоемкий, стоит определить, какие флаги важнее, и встроить их в первую очередь. В этом случае наличие гипотез помогает сэкономить время и структурировать данный процесс. Кроме того, имея на вооружении одну или несколько гипотез, можно прогнозировать те или иные виды поведения (или их отсутствие). Это тоже помогает расставлять приоритеты и быстрее принимать верные решения.
Вам понадобятся разные типы гипотез, в основном геймплейных и коммерческих. Вот несколько примеров.
Геймплейные гипотезы:
• Игроки, которые не понимают, как работает [вставьте механику], скорее всего, бросят игру.
• Игроки, которые проигрывают свой первый PvP-матч, с меньшей вероятностью продолжат играть.
• Игроки, у которых в первые десять минут игры появился друг, вероятно, останутся в игре надолго.
• И так далее.
Коммерческие гипотезы (для free-to-play игр):
• Игроки, которые остаются надолго, чаще конвертируются в покупателей.
• Игроки, которые участвуют в [маркетинговом событии], скорее всего, приобретут набор [предметов].
• Распространение бета-ключей среди активных игроков приводит к появлению новых пользователей, потому что игроки приглашают своих друзей.
• И так далее.
У вас, конечно же, получится много гипотез и проверочных вопросов. Их нужно будет расставить по важности и связать с соответствующими игровыми событиями. Подобрать подходящие события для конкретного вопроса или гипотезы не всегда легко. Возьмем первую из приведенных выше геймплейных гипотез. Если заданная механика простая, например использование определенной способности (допустим, двойной прыжок или бег), то достаточно просто отследить, используют ли ее игроки и если да, то в каком контексте (например, против какого противника) или в каком месте (при условии, что вы не используете процедурную генерацию уровней). Если же механика касается правил аггро для башен в МОВА-играх, проконтролировать ее будет сложнее. Да, можно посчитать, сколько раз игроки погибли от атак башен, однако при этом нужно учитывать, что послужило причиной аггро (игрок напал на башню в отсутствие миньонов в ее радиусе действия?).
К счастью, у ваших UX-истов есть сводка наиболее распространенных проблем юзабилити и механик, вызывавших затруднения у игроков. Вот почему смешанный подход к исследованиям, объединяющий UX-аналитику и дата-аналитику, приносит наилучшие результаты. Для каждой гипотезы и вопроса вы можете определить, какие инструменты дадут вам нужный ответ (UX или статистика), а для формулирования гипотез и вопросов достаточно знать принципы UX.
Подумайте, какие проблемы юзабилити могут навредить удержанию игроков, перечислите все механики, которые должны их увлекать, и проверьте, действительно ли желаемый результат достигнут. Четко представив, какой опыт вы хотите предложить аудитории, и выделив основные компоненты, повышающие уровень юзабилити и вовлекательность вашей игры, вы получите крепкую основу для анализа. Также благодаря ей вы будете знать, какого рода данные вам понадобятся и как их следует визуализировать, чтобы представить специалистам информацию наиболее наглядно (в виде тепловых карт, таблиц, гистограмм, круговых диаграмм, графиков и т. п.)
Мари де Лезелюк, BI-аналитик в Eidos Montreal
Гипотезы в игровой аналитике
Балансировка игровых классов в соревновательной онлайн-игре, оценка работы механик, оптимизация игровой экономики, прогнозирование оттока разочарованных игроков – все это трудно осуществлять осознанно без помощи чисел и без аналитика, который интерпретировал бы их в контексте, особенно если нужно избегать решений, продиктованных личным мнением или взятыми с потолка приближениями, как обычно бывает из-за недостатка информации и поверхностного понимания конкретной проблемы.
Вместе с тем нельзя сбрасывать со счетов неизбежные ограничения. Иначе говоря, никакой анализ не возможен без вопросов и изначальной гипотезы, без четкой постановки задач и, конечно же, без совместных усилий разработчиков, аналитиков, пользователей и руководителей. Точно так же нельзя ждать универсальных ответов на сложные вопросы, ведь результаты любых исследований фиксируются в искусственном формате. Не стоит принимать решения, слепо полагаясь на график или таблицу. Ко всему нужно относиться критически, исходя из всестороннего понимания мотивации и действий игроков, на которых рассчитана ваша игра.
15.2.2. Метрики
Подготовив список гипотез и вопросов, определите параметры (метрики), которые будете измерять. Набор геймплейных метрик во многом зависит от игры: например, как часто игроки погибают (число смертей), точность оружия (число попаданий на серию выстрелов), сила оружия (число убитых врагов на серию ударов), распределение смертей по причинам (пули, ближний бой, падения и т. п.), темп прогресса (время между началом миссии и ее завершением) и так далее. Бизнес-метрики обычно касаются удержания игроков и конверсии (совершения внутриигровых покупок) для free-to-play игр. Все эти параметры, они же ключевые показатели эффективности (Key Performance Indicators, KPI), должны быть вам уже известны, но на всякий случай перечислю самые основные [Fields, 2013].
• DAU (Daily Active Users). Число активных пользователей в день, только уникальных (без минимального времени игры).
• MAU (Monthly Active Users). Число активных пользователей в месяц, как уникальных, так и регулярных.
• Удержание аудитории. Какой процент игроков в среднем возвращается в игру каждый день. Например, если DAU выше MAU, это показывает высокий уровень увлекательности игры.
• Конверсия аудитории. Процент игроков, которые становятся платящими клиентами.
• ARPU (Average Revenue Per User). Средняя выручка с пользователя: общая выручка за определенный период, поделенная на общее число игроков в тот же период.
• ARPPU (Average Revenue Per Paying User). Средняя выручка с платящего пользователя: то же, что и ARPU, но общая выручка делится на число плативших игроков за данный период.
Верно сформулировав гипотезы и метрики, вы сможете провести множество интересных экспериментов: скажем, А/В-тестирование, где вы проверяете, какая переменная (условие А или условие Б, возможно, больше) сильнее влияет на желаемое поведение (например, конверсия выше, когда кнопка зеленая или когда красная?).
Об игровой аналитике и ее связи с UX можно говорить еще долго, но я ограничусь, пожалуй, одним последним примером. Команда UX-аналитиков может составить анкеты для рассылки игрокам. Если найти способ сопоставить полученные ответы с игровыми данными (не нарушая анонимности), то можно увидеть, какие конкретно действия вызвали ту или иную реакцию (понравилось, не понравилось, осталось непонятным): например, те пользователи, которые отзывались об игре в основном отрицательно, в самом начале столкнулись с особо сложным для себя препятствием.
Приглашайте на обсуждения коллег из службы поддержки и маркетинга: они могут рассказать, на что игроки жалуются на форумах или когда обращаются в поддержку. Помните, однако, что подобные жалобы не всегда отражают мнение большинства игроков. Есть люди, которые регулярно жалуются на одно и то же. Вместе с тем знать непосредственную реакцию очень полезно, да и вашему комьюнити будет приятно, что его голос учитывается в развитии и улучшении игры.