Использование аналитических инструментов для оптимизации продукта и бизнеса
В главе 13 рассказывалось о том, как определять и измерять ключевые метрики, которые должны лечь в основу последующего анализа для улучшения вашего продукта и бизнеса. Самое замечательное в «живом» продукте то, что аналитика позволяет четко видеть результаты вносимых в него изменений. Имея хорошую платформу для A/B-тестирования, вы можете с легкостью проводить эксперименты и немедленно проводить необходимые улучшения. Те компании, которые умеют это делать, получают конкурентное преимущество. При этом более значимым в конкурентной борьбе становится уже не размер вашего бизнеса, а то, насколько быстро вы умеете извлекать уроки из обратной связи от клиентов и вносить соответствующие изменения в свой продукт. Скорость – это оружие. В современном быстро меняющемся мире Давид в одночасье может повергнуть Голиафа. В этой главе рассказывается о том, как следует использовать существующие аналитические возможности для оптимизации вашего продукта и бизнеса.
Процесс анализа бережливого продукта
Я работал со многими компаниями, настраивая и внедряя аналитические платформы, которые затем использовались для оптимизации продуктов и бизнеса. Попутно я разработал простой, тиражируемый процесс использования аналитики для осуществления улучшений. Я назвал его процессом анализа бережливого продукта (см. Рисунок 14.1).
Первым шагом в процессе анализа бережливого продукта является определение ключевых метрик для вашего бизнеса, о которых я рассказал в предыдущей главе. Далее вам нужно провести измерение этих показателей, чтобы зафиксировать для каждой метрики ее базовое значение, которое показывает, где вы находитесь сегодня. Этот шаг может показаться относительно простым, но многие компании на нем спотыкаются. Настройка отслеживания – или измерения – показателей продукта требует выполнения определенной работы. После первоначальной настройки обычно требуются дополнительные усилия для обеспечения точности и сопоставления значений отслеживаемых показателей. Аналитические приложения, такие как Google Analytics, KISSmetrics, Mixpanel и Flurry, позволяют упростить эту задачу. Данные, необходимые для расчета ключевых метрик, часто хранятся в базе данных продукта, поэтому многие компании используют комбинацию из приложений сторонних разработчиков и собственного аналитического ПО. Цель всех этих действий состоит в том, чтобы создать набор аналитических панелей, позволяющих видеть, как с течением времени изменяются значения каждой из отслеживаемых метрик.
Рисунок 14.1. Процесс анализа бережливого продукта
Как только у вас появятся точные базовые значения для каждой из ключевых метрик, можно будет перейти к следующему шагу: оценке потенциала роста каждого отслеживаемого показателя. На этом этапе вы оцениваете каждый показатель через призму рентабельности инвестиций (ROI). Я считаю полезным представлять диапазон значений каждого показателя в виде шкалы со стрелкой, подобной той, что вы можете наблюдать на приборной панели автомобиля или на манометре. Цифры, на которые в данный момент указывает стрелка, являются базовым значением для наблюдаемой метрики. Теперь вам нужно оценить, насколько легко или сложно будет сдвинуть стрелку вправо, то есть улучшить каждый показатель. Для этой цели используется кривая рентабельности инвестиций, и на этом шаге мы хотим получить хотя бы примерное представление о том, в каком месте на этой кривой находится исследуемый показатель в настоящий момент времени.
На Рисунке 14.2 показаны кривые рентабельности инвестиций для трех различных метрик. По вертикальной оси каждого графика отложены значения самой метрики (где чем выше, тем лучше). Зная особенности своего бизнеса и существующие взаимосвязи между его ключевыми показателями, вы имеете представление о том, в какой степени увеличение значения каждой метрики приводит к улучшению показателя более высокого уровня, который вы, в конечном счете, пытаетесь повысить за счет вложения соответствующих ресурсов (например, это может быть показатель объема выручки). Горизонтальная ось показывает объем инвестиций (ресурсов), направляемых на улучшение отслеживаемого показателя. Кружком обозначено текущее базовое значение метрики, то есть в каком месте на кривой рентабельности инвестиций каждый показатель находится в данный момент.
Рисунок 14.2. Кривые рентабельности инвестиций для трех различных метрик
Текущее значение метрики A находится в нижней части кривой рентабельности инвестиций, где подъем линии является достаточно крутым. Это означает, что вы можете значительно улучшить значение данного показателя, совершив относительно небольшие вложения. Такая ситуация обычно возникает в том случае, когда вы еще не работали над улучшением метрики. В свою очередь, показатель B находится вблизи вершины своей кривой рентабельности инвестиций, там, где наклон линии в значительной степени выровнен. Таким образом, даже при значительных инвестициях, вы сможете улучшить данный показатель лишь в небольшой степени. Такая ситуация характерна для случаев, когда на улучшение метрики уже потрачено много ресурсов.
Кривая рентабельности в том виде, как она показана для метрик A и B, является типичной для большинства показателей. Однако в некоторых обстоятельствах даже небольшие затраты ресурсов на улучшение показателя могут привести к его значительному росту. Я называю такие ситуации эффектом «волшебной пилюли». В таких случаях кривая рентабельности инвестиций будет выглядеть иначе – примерно так, как показано на Рисунке 14.2 для метрики C. Это особые случаи, при которых небольшое, но влиятельное изменение может привести к тому, что какой-то аспект продукта или бизнеса станет работать гораздо лучше, чем это было до вашего вмешательства. Обычно такие возможности обнаруживаются в результате тщательного анализа.
Как только вы оценили потенциал роста каждого показателя, можно переходить к следующему этапу процесса: выбору показателя, который предлагает наиболее многообещающие возможности для улучшения. Это и будет та самая «Наиболее значимая метрика» (НЗМ), которая обсуждалась в предыдущей главе. Если вспомнить Рисунок 14.1, то можно сказать, что вы сейчас осуществляете переход от глобального рассмотрения полного набора метрик к сосредоточению всех усилий только на главной из них.
Далее, в ходе проведения «мозгового штурма» вам необходимо сгенерировать как можно больше идей по улучшению своей наиболее значимой метрики. Затем предстоит оценить, насколько реализация каждой из сгенерированных идей способна улучшить эту НЗМ. В процессе вы формируете гипотезы, такие как «Оптимизация мобильной версии страницы регистрации повысит коэффициент конверсии с 20 до 30 %». Кроме этого, вам необходимо оценить стоимость реализации каждой идеи, чтобы рассчитать значение рентабельности инвестиций – ROI (как обсуждалось в главе 6). Проделав эту работу, вы сможете выбрать для реализации идею с наилучшей оценкой рентабельности инвестиций.
Далее вы разрабатываете и внедряете выбранную идею улучшения главной метрики. Наилучшим вариантом было бы использовать при этом платформу A/B-тестирования, чтобы опробовать улучшение на небольшой части пользователей. Это позволяет получить сравнимые значения метрики для оценки относительной эффективности сделанного улучшения в сравнении с базовым показателем. Если у вас нет платформы для проведения A/B-тестирования, и при этом метрика, которую вы пытаетесь улучшить, имеет относительно стабильное значение, вы можете после реализации идеи улучшения провести простое сравнение показателей «до» и «после». Однако я настаиваю, что применение A/B-тестирования является более предпочтительным вариантом, поскольку оно снижает риск влияния неизвестных факторов, приводящих к возникновению разницы в полученных результатах.
Конечно, на протяжении всего процесса вы надеетесь улучшить целевой показатель. Однако, даже если этого в итоге не происходит, вы все равно добьетесь прогресса, поскольку получите ценный опыт, который сможете применить для создания более совершенных гипотез на последующих итерациях. Теперь вы пересматриваете свой список идей по улучшению метрики и выбираете следующую лучшую идею (занявшую изначально второе место при оценке рентабельности инвестиций). Затем вы повторяете весь цикл, показанный в правой части Рисунка 14.1.
В конце концов, после опробования нескольких идей вы должны, наконец, увидеть действительное улучшение целевого показателя. В ходе таких повторений цикла рентабельность проверяемых идей будет постепенно снижаться. Это может привести к тому, что в какой-то момент обнаружится, что лучшие возможности для улучшения представляет уже другая метрика.
В этом случае, как показано на Рисунке 14.1, вы должны вернуться с уровня Метрики на Глобальный уровень, проанализировать показатели и определить новую НЗМ для ее улучшения. После этого вы снова применяете описанный выше цикл итеративного улучшения, но уже к этой метрике.
Повторные выполнения данного процесса позволяют осуществлять систематическое улучшение бизнеса. Наличие продвинутой аналитической платформы и набора информационных панелей обеспечивает отслеживание прогресса в этом направлении. Использование платформы для A/B-тестирования помогает проводить регулярные эксперименты, чтобы увидеть, смогут ли новые идеи обеспечить более высокий результат по сравнению с тем, что уже находится в реализации. Как только в вашем распоряжении окажутся все критически важные элементы – аналитическая платформа, информационные панели, платформа A/B-тестирования – и будет запущен процесс непрерывного совершенствования, ограничивающим фактором останется лишь то, насколько быстро вы сможете выявлять и внедрять лучшие креативные идеи для своего продукта и бизнеса.
Решение проблемы локального максимума
На этом этапе возникает опасность застрять на локальном максимуме. В какой-то момент в процессе улучшения метрики у вас может возникнуть ощущение, что дальнейшее продвижение невозможно. Иногда это действительно так; вы настолько хорошо потрудились над совершенствованием своего продукта, что в отношении целевого показателя достигли максимума возможного. Однако в некоторых случаях вы просто застреваете на локальном максимуме, хотя на самом деле могли достичь большего, если бы рассмотрели возможность применения совершенно иного подхода.
Например, если у вас есть целевая страница, вы могли бы провести A/B-тестирование разных вариантов цветов для главной кнопки, чтобы определить, какой из них дает наибольший коэффициент конверсии. Разработчик Google протестировал 41 оттенок синего цвета для своей панели инструментов, чтобы понять, какой из них обеспечивает наилучший коэффициент кликабельности. Однако, если вы прекратите итерации после того, как подберете наилучший цвет для своей главной кнопки, вы, вероятно, застрянете на локальном максимуме. Таким же образом необходимо поэкспериментировать с различными вариантами сообщений, изображений, макетов страниц и так далее, чтобы посмотреть, сможете ли вы добиться еще более высокого коэффициента конверсии. Скорость улучшения напрямую зависит от того, насколько быстро вы сможете выявить и реализовать хорошие идеи. A/B-тестирование упрощает проведение экспериментов, но определить гипотезы для проверки должны вы сами. Чтобы не застрять на локальном максимуме, вы должны быть уверены, что используете все имеющиеся возможности для поиска потенциальных идей, направленных на улучшение вашего продукта.
Анализ бережливого продукта на примере Friendster
В качестве иллюстрации процесса анализа бережливого продукта и методического руководства по его реальному воплощению я приведу подробный пример того, как он был успешно применен на практике. Пример связан с уже упоминавшимся приложением Friendster, работая над улучшением которого, мне удалось более чем удвоить ключевой показатель всего за одну неделю.
Присоединившись к стартапу разработчиков социальной сети Friendster в качестве главного продакт-менеджера, я выяснил, что одним из наиболее важных моментов является вирусное привлечение клиентов. У нас имелась солидная база пользователей, и мы получали некоторый доход от рекламы, но показатель среднего дохода в расчете на одного пользователя был слишком низким, чтобы мы могли позволить себе тратить деньги на привлечение клиентов (как это делают крупные потребительские компании). К счастью, у нас был для этого альтернативный способ – вирусный маркетинг позволял нам привлекать пользователей бесплатно. Благодаря сетевому эффекту ценность таких продуктов, как социальная сеть, к которым относился и Friendster, возрастает по экспоненте с увеличением числа активных пользователей. Мы знали, что быстрый рост нашей пользовательской базы имеет решающее значение для достижения успеха, и лучший способ добиться этого предлагал вирусный маркетинг. Поэтому я определил улучшение показателя вирусного роста в качестве одной из своих главных целей. Другие члены команды разделяли эту точку зрения, но никто на самом деле не имел представления о том, как можно провести измерение нашего вирусного роста. Я начал с первого шага процесса анализа бережливого производства: определения ключевых метрик.
Определение ключевых метрик
Мы отслеживали новых пользователей и могли определить, кто из них присоединился к нам по приглашениям. Показатель «новые приглашенные пользователи» относился к верхнему уровню. Мы заботились о его росте, но не могли влиять на него напрямую. Поэтому я применил свой метод «уравнений для улучшения бизнеса» (описан в главе 13, – прим. пер.), чтобы разбить его на более действенные показатели, которые мы могли бы попытаться улучшить.
Я начал с определения нашей вирусной петли, то есть описания процесса, благодаря которому мы с помощью существующего клиента приобретаем нового. Результат моих изысканий показан на Рисунке 14.3. Процесс начинается с наших существующих пользователей (прямоугольник в левом нижнем углу). Не все пользователи сети участвуют в привлечении новых клиентов с помощью вирусного маркетинга. Поэтому активные пользователи, которые приглашают своих друзей присоединиться к Friendster, выделены в отдельный блок. Используя наш продукт, активные пользователи отправляют по электронной почте приглашения своим родственникам, друзьям и знакомым, которые еще не используют Friendster (потенциальные пользователи). Когда потенциальный пользователь получает приглашение, он либо нажимает на ссылку в пригласительном письме, чтобы зарегистрироваться на Friendster, либо не нажимает. Процедуру регистрации также доводят до завершения не все потенциальные пользователи. Те приглашенные, кто успешно завершил процедуру регистрации, становятся пользователями, которые, в свою очередь, могут стать активными и запустить этот вирусный цикл на новый виток.
Рисунок 14.3. Вирусная петля Friendster
Составив описание вирусной петли, я занялся определением метрик, характеризующих данный процесс. Я не собирался отслеживать абсолютные показатели, такие как количество активных пользователей, потому что их значения меняются в зависимости от размера клиентской базы. Вместо этого я хотел выявить относительные показатели, которые позволяли бы сравнивать «яблоки с яблоками» при их изменении с течением времени. В итоге я разработал систему, состоящую из пяти показателей, которые в своей совокупности полностью охватывали все аспекты нашей вирусной петли. На Рисунке 14.4 показана все та же схема вирусной петли, к которой добавлены следующие метрики:
1. Процент активных пользователей: Этот показатель рассчитывается путем деления количества активных пользователей на общее количество зарегистрированных пользователей.
2. Процент пользователей, посылающих приглашения: Не все активные пользователи отправляли приглашения, поэтому данный показатель введен, чтобы учесть данное обстоятельство. Он рассчитывается путем деления количества пользователей, посылающих приглашения, на общее количество активных пользователей.
3. Среднее количество приглашений, посылаемых одним пользователем: Пользователи могут отправить приглашения как одному, так и нескольким своим друзьям. Соответственно, данный показатель рассчитывается путем деления общего количества отправленных приглашений на общее количество пользователей, пославших приглашения.
4. Коэффициент «кликабельности» приглашений: Процент потенциальных пользователей, которые перешли по ссылке, содержащейся в пригласительном письме; рассчитывается путем деления количества потенциальных пользователей, которые перешли по ссылке, на общее количество потенциальных пользователей, которым было отправлено приглашение.
5. Коэффициент конверсии: Процент потенциальных пользователей, пришедших на целевую страницу, которые фактически завершили процедуру регистрации. Этот показатель рассчитывается путем деления количества потенциальных пользователей, прошедших регистрацию, на общее количество потенциальных пользователей, посетивших страницу регистрации.
Рисунок 14.4. Показатели вирусной петли Friendster
Все эти метрики являются действенными и могут быть рассчитаны для любого заданного интервала времени (например, за последние 30 дней). При перемножении всех пяти показателей получается коэффициент вирусной петли. Если значение этого коэффициента больше единицы, то продукт официально является «вирусным». Это означает, что каждый существующий пользователь генерирует более одного нового пользователя, что в итоге приводит к экспоненциальному росту – подобно ядерному реактору, переходящему на сверхкритическую мощность. Продукты не сохраняют свой вирусный статус в течение долгого времени (иначе пользователем нашей социальной сети, в конце концов, стал бы каждый, у кого есть доступ в Интернет). Когда вирусный продукт достигает высокого уровня проникновения на рынок, там уже не остается достаточно большого количества потенциальных пользователей, которых еще можно было привлечь в качестве клиентов. В таком завидном положении находится, например, сеть Facebook. Однако если значение вирусного коэффициента оказывается меньше 1, но все равно является довольно высоким – скажем, 0.4, – у вас нет серьезного повода для беспокойства. Это по-прежнему означает, что в каждом отслеживаемом временном интервале вы с помощью вирусного маркетинга совершенно бесплатно увеличиваете свою клиентскую базу на 40 %.
Фиксация базовых значений для метрик
После определения пяти ключевых метрик на следующем шаге процесса требуется установить для каждой из них базовое значение. Современное аналитическое программное обеспечение обладает гораздо большими функциональными возможностями, чем это было во времена, когда я работал с Friendster. Тогда нам пришлось написать свой собственный программный код для отслеживания и осуществления необходимых расчетов. Мы начали со сбора данных по каждому из исходных показателей, таким как количество зарегистрированных пользователей, количество активных пользователей, количество переходов по ссылке из пригласительного письма и так далее. Затем на основе собранных атомарных показателей мы вычислили базовые значения для всех пяти ключевых метрик.
Для простоты в дальнейшем я буду использовать только три из пяти метрик, включая рассчитанные для них базовые значения:
• Процент пользователей, посылающих приглашения = 15 %.
• Среднее количество приглашений, посылаемых одним пользователем = 2.3.
• Коэффициент конверсии = 85 %.
Оценка потенциального ROI для каждой метрики
Следующий шаг процесса анализа бережливого продукта нацелен на выбор метрики, которая, по нашему мнению, является наиболее перспективной с точки зрения ее улучшения. Поставьте на минутку себя на мое место. С учетом того, что вы владеете только представленным здесь объемом информации, на улучшении какой из трех метрик вы бы сосредоточились в первую очередь? Каким было бы ваше решение?
Понятно, что вам явно не хватает конкретных данных о потенциальных возможностях улучшения для каждой из метрик. Используя метод оценки, основанный на применении показателя рентабельности инвестиций, трудно определить величину отдачи или увеличения стоимости, которые действительно могли бы быть достигнуты в отношении каждой метрики. Но есть одна хитрость, которой вы можете воспользоваться, оказавшись в подобных условиях недостатка информации. Это то, что я называю потенциалом роста метрики, имея в виду, каким может быть ее максимально возможное улучшение. Этот показатель возможно оценить, приняв во внимание текущее базовое значение для метрики и его максимально возможное значение. Рисунок 14.5 иллюстрирует эту концепцию на примере трех наших метрик.
Рисунок 14.5. Потенциал роста для метрик
Давайте начнем с анализа коэффициента конверсии. Это процентный показатель, поэтому он может варьироваться от минимального значения – 0 %, до максимального – 100 %. Базовое значение составляет 85 %. Таким образом, независимо от того, какие улучшения мы внесем, увеличить значение этой метрики можно не более чем на 15 процентных пунктов (до 100 %). Поскольку потенциал роста нужно оценить в процентах к базовому значению, мы берем 15 пунктов возможного прироста и делим их на 85 (базовое значение), что дает нам 18 %. Таким образом, максимальный потенциал повышения коэффициента конверсии составляет 18 %.
Вторая метрика – процент пользователей, посылающих приглашения, – также может варьироваться в диапазоне от 0 до 100 %. Базовое значение составляет 15 %, так что теоретически мы могли бы улучшить этот показатель на целых 85 процентных пунктов. Опять же, чтобы выразить этот потенциал роста в процентах, мы берем 85 пунктов возможного прироста и делим их на базовое значение – 15 %, получая в итоге 570 %. Таким образом, процент пользователей, посылающих приглашения, имеет значительно больший потенциал роста, чем коэффициент конверсии.
Теперь давайте перейдем к третьей метрике: среднему количеству приглашений, посылаемых одним пользователем. Этот показатель не является процентным. Его минимальное значение равно 0. Базовое значение равно 2.3. Каково же максимально возможное значение для этой метрики? На первый взгляд кажется, что его невозможно определить достаточно точно. Но нам нужна хотя бы приблизительная оценка максимального значения, чтобы рассчитать потенциал роста. Может ли оно быть бесконечным? Нет, поскольку численность населения нашей планеты измеряется конечным числом. Каждый пользователь может пригласить всех своих родственников, друзей и знакомых присоединиться к Friendster. Таким образом, максимальным значением будет среднее количество друзей, которое есть у пользователя Friendster. Что это за число? Я не знал точно, но мне казалось, что разумная оценка составляет от 100 до 200 человек. В 1990-х годах психолог Робин Данбар провел исследование, пытаясь определить максимальное число людей, с которыми человек может поддерживать стабильные социальные отношения. Он пришел к выводу, что этот предел – называемый числом Данбара – равен 150, что соответствует середине моего предполагаемого диапазона. Если мы используем это значение, то увидим, что потенциал роста среднего количества посылаемых приглашений в расчете на одного пользователя составляет 150 ÷ 2.3 = 6 520 %. Даже если отталкиваться от более консервативной оценки максимального значения в 100 приглашений, потенциал роста этой метрики все равно будет значительно превышать аналогичный показатель для двух других метрик.
Когда вы впервые увидели Рисунок 14.5, не возникло ли у вас ощущение дежавю? Взгляните еще раз на кривые рентабельности инвестиций для трех метрик на Рисунке 14.2. Замечаете сходство? Процент пользователей, посылающих приглашения, подобен метрике A с хорошим показателем ROI. Коэффициент конверсии подобен метрике B, для которой характерна низкая рентабельность. Среднее количество приглашений, посылаемых одним пользователем, в наибольшей степени соответствует метрике C. Однако мы не будем знать этого наверняка до тех пор, пока не увидим, насколько значительно можно улучшить значение метрики и каких усилий это потребует.
Выбор НЗМ для улучшения
Я решил сосредоточиться на увеличении среднего количества приглашений, посылаемых одним пользователем, главным образом из-за гораздо большего потенциала роста этой метрики. Второй причиной было то, что улучшение данного показателя не обязательно предполагало попытки изменить человеческое поведение. 15 % наших пользователей уже рассылали приглашения своим друзьям; мы просто собирались сделать так, чтобы они посылали еще больше пригласительных писем. Если бы мы попытались увеличить процент приглашающих пользователей, это потребовало бы усилий, направленных на изменение поведения тех пользователей, которые ранее не занимались рассылкой приглашений. Ведь по каким-то причинам 85 % пользователей решили не приглашать своих друзей присоединиться к сети, несмотря на все наши попытки заставить их это сделать. Поэтому было сложно представить, каким образом можно улучшить ситуацию в этом направлении. Кроме того, я видел, что существующий пользовательский интерфейс функции, отвечающей за приглашения друзей, требует от пользователя совершения слишком большого числа дополнительных действий, и был уверен, что мы сможем существенно упростить эту процедуру.
Цикл оптимизации метрики
Теперь, когда я выбрал наиболее значимую метрику для улучшения, можно было перейти к следующему шагу в процессе анализа бережливого продукта. На этом этапе происходит запуск цикла оптимизации метрики, показанный в правой части Рисунка 14.1. Вместе с командой мы провели мозговой штурм с целью генерации потенциальных идей по улучшению выбранного целевого показателя. Затем каждую из выдвинутых идей оценили с точки зрения того, насколько она может повлиять на улучшение метрики, и каких ресурсных затрат потребует ее реализация. После этого мы пришли к выводу, что наилучшей по показателю своей рентабельности является идея с импортом адресной книги. Сейчас наличие в приложениях функции импорта адресной книги является привычной, но в то время это было редкостью. Многие из наших пользователей хранили адреса электронной почты своих друзей в адресной книге, которая была привязана к их учетной записи у почтовых провайдеров, таких как Gmail и Yahoo!Mail. Наша новая функция должна была позволить пользователям, введя учетные данные для доступа к своему электронному почтовому ящику, импортировать во Friendster хранящуюся в почтовом сервисе контактную информацию своих друзей. Разработанный нами импортер адресной книги отображал список перенесенных контактов и позволял пользователям выбирать из него тех, кому они хотели бы направить приглашение. Мы предполагали, что реализация данной функции приведет к значительному увеличению среднего количество приглашений, посылаемых одним пользователем.
Что касается технической реализации, несмотря на то что часть функционала была общей для всех почтовых провайдеров, все же требовалось проделать определенный объем работы, чтобы интегрироваться с каждым конкретным почтовым сервисом. На этом этапе я понял, что было бы полезно разбить разрабатываемую функцию на более мелкие части (как это описано в главе 6), выделив в отдельные блоки задачи по интеграции с каждым из провайдеров. Чтобы протестировать нашу гипотезу, затратив на это минимальное количество усилий, я решил использовать MVP, функционал которого позволял импортировать адресную книгу, но работал пока только с одним из почтовых сервисов. Проанализировав профили наших пользователей, я обнаружил, что наибольшей популярностью у них пользуется «почтовик» Yahoo!Mail. Соответственно, разработка именно этого функционального блока должна была обеспечить наиболее высокую рентабельность инвестиций. Следующим шагом в этом направлении стала разработка и внедрение программного решения. На выполнение этой работы менеджеру по продукту и разработчику потребовалось около недели.
«Волшебная пилюля» или нет?
Мы запустили разработанную функцию и перешли к следующему, самому захватывающему шагу в процессе анализа бережливого продукта: отслеживанию изменений ключевой метрики. На Рисунке 14.6 показана динамика изменений метрики до и после запуска функции, позволяющей импортировать адресную книгу. Вертикальная ось показывает среднее количество посылаемых приглашений в расчете на одного отправителя, а горизонтальная – даты фиксации наблюдений. Характерной особенностью социальных приложений, и в этом смысле социальная сеть Friendster не была исключением, является довольно сильная зависимость активности пользователей от дня недели. Поэтому для большинства показателей мы учитывали их средние значения за семь дней, чтобы можно было более точно выявлять тренды. Каждая точка данных на графике, представленном на Рисунке 14.6, фактически отображает среднее значение показателя за последние семь дней.
На графике отчетливо видно, что изначально значение метрики колебалось незначительно, оставалось в узком диапазоне между 2.2 и 2.4. То место, где плавная горизонтальная линия разворачивается и устремляется вверх, соответствует дате запуска функции импорта адресной книги. Поскольку мы использовали 7-дневную среднюю, потребовалось несколько дней на то, чтобы линия графика пришла в полное соответствие с текущими дневными значениями метрики. Новое усредненное значение количества приглашений, посылаемых одним пользователем, продолжало расти с каждым днем и добралось до отметки 5.3. Я был в полном восторге!
Идея сработала как «волшебная пилюля»: всего за неделю работы ключевой показатель удалось улучшить более чем в два раза (5.3 ÷ 2.3 = 2.3x)! Если вспомнить соответствующее уравнение для улучшения бизнеса, то увеличение данной метрики в 2.3 раза означало, что число наших новых клиентов выросло также в 2.3 раза за счет вирусного привлечения. И это притом, что созданная нами функция импорта умела работать пока только с одним из почтовых сервисов. Получив количественные статданные, столь однозначно подтвердившие нашу гипотезу, мы немедленно приступили к разработке усовершенствований, необходимых для интеграции нашего приложения с другими почтовыми провайдерами. В конечном итоге это привело к дополнительному улучшению ключевой метрики.
Рисунок 14.6. Среднее количество приглашений, посылаемых одним пользователем: до и после запуска
В течение некоторого времени мы продолжали повышать среднее количество приглашений, посылаемых одним пользователем, до тех пор, пока не исчерпали запас идей по повышению рентабельности в этом направлении. Достигнув высшей точки, мы вышли из цикла улучшений для этой метрики и переключили свое внимание на другой показатель вирусного цикла, имевший на тот момент более высокую потенциальную рентабельность инвестиций.
Приведенный пример показывает, насколько простым и эффективным может быть использование аналитики в деле улучшения вашего бизнеса. Вы можете достичь аналогичных результатов, применяя процесс анализа бережливого продукта. Как и в случае с MarketingReport.com, описанным в главе 11, я не делал ничего экстраординарного; просто следовал процессу и принципам, описанным в этой книге.
Оптимизация с применением A/B-тестирования
Как уже обсуждалось в главе 7, A/B-тестирование, также известное как сплит-тестирование, представляет собой количественный метод исследования, в ходе которого вы проводите испытание двух (или более) альтернативных варианта одновременно, чтобы затем сравнить их эффективность. В то время, когда я работал с Friendster, специализированное программное обеспечение, которое сейчас используется для проведения A/B-тестирования, было недоступно, а создание собственного инструментария потребовало бы привлечения большого количества ценных инженерных ресурсов. Поэтому я просто провел сравнение значений улучшаемой метрики по состоянию на «до и после», и получил прекрасный результат. Современные технологии позволяют с легкостью проводить A/B-тестирование для каждой из реализуемых идей по улучшению продукта. Запуск обновленной версии одновременно со старой помогает исключить влияние на результат каких-либо посторонних факторов.
Важным понятием в A/B-тестировании является степень статистической достоверности, которая зависит от различий в характеристиках сравниваемых вариантов и от размера выборки. Существуют онлайн-инструменты, которые помогают рассчитать значение показателя статистической достоверности для любого теста. Соответственно, вам не требуется владеть методикой его расчета, но важно понимать, что статистическая достоверность выше при существенных различиях в характеристиках и при больших размерах выборки. Если размер выборки слишком мал, вы не получите статистически значимых результатов. Если объектами тестирования являются два очень схожих по характеристикам варианта, может потребоваться очень большой размер выборки, чтобы выявить хоть какие-то статистически значимые различия показателей.
Арсенал инструментов для проведения A/B-тестирования отличается большим разнообразием и включает в себя такие приложения, как Optimizely, Unbounce, KISSmetrics, Visual Website Optimizer и Google Content Experiments (в составе Google Analytics). Многие компании предпочитают создавать собственные платформы для A/B-тестирования. Все эти инструменты позволяют взять один или несколько подлежащих проверке вариантов (например, целевой страницы) и затем случайным образом распределить между ними пользовательский трафик. Далее происходит отслеживание результатов по интересующему вас показателю, что в итоге обеспечивает понимание того, как работает каждый из протестированных вариантов с указанием степени статистической достоверности, рассчитанной на основании размера выборки.
Многие компании включают A/B-тестирование в качестве обязательного этапа процесса разработки своих продуктов, особенно при внесении в них серьезных изменений. Вместо того чтобы сразу заменять прежнюю версию продукта новой, они оставляют ее в работе для большей части своих клиентов и дают доступ к обновленной версии лишь небольшому проценту пользователей. Затем они сравнивают полученные в ходе этого эксперимента значения ключевых показателей для существующей и обновленной версий. Прежде чем увеличить процент пользователей, которые получают доступ к новой версии, команда разработчиков хочет убедиться в том, что предполагаемые улучшения, которые и являлись целью создания обновления, действительно имеют место, при том что другие ключевые показатели продукта существенно не ухудшились. Такой процесс, иногда называемый дросселированием, является отличным способом применения принципов бережливого производства для снижения рисков, возникающих после запуска продукта. На заключительном этапе, если отслеживаемые показатели выглядят хорошо, 100 % пользователей переводят на новую версию продукта, а старая просто уходит в небытие.
Компания Netflix славится своей приверженностью A/B-тестированию, причем как на маркетинговом, так и на продуктовом направлениях. В ответ на вопрос «Для каких функций, помимо процедуры регистрации, Netflix проводит A/B-тестирование?», заданный на веб-сайте Quora, директор по продуктам Netflix Нил Хант ответил: «Если коротко, то почти для всех». Далее он рассказал, что Netflix проводит сравнительное тестирование различных вариантов пользовательского интерфейса, алгоритмов рекомендаций, расположения и размеров кнопок, времени загрузки страниц и уровней качества кодирования потокового видео. Свой ответ Хант завершил словами:
«Мы очень гордимся своей ориентацией на эмпирические данные, потому что это говорит о нашей скромности – мы отдаем себе отчет в том, что в большинстве случаев не знаем заранее о том, чего на самом деле захотят клиенты. Отзывы, полученные в результате тестирования, быстро наводят нас на правильные мысли и помогают убедиться, что наши усилия действительно направлены на оптимизацию того, что положительно влияет на качество предлагаемых клиентам продуктов».
A/B-тестирование – это все, что нам нужно?
Метод A/B-тестирования – это основной инструмент для формирования решений в отношении продукта, основанных на фактических данных. Эти данные отражают поведение большого числа пользователей, поэтому в данном случае не возникает риска расхождения между тем, что говорят участники тестирования, и тем, что они реально делают. В этот момент вы не сидите с ними рядом, поэтому не должно быть никаких опасений по поводу того, что присутствие модератора может повлиять на результаты теста. Конечно, разработчики не должны полагаться исключительно на количественные исследования – не стоит забывать и об Опре. Во многих случаях количественное тестирование должно быть дополнено качественным исследованием, способным объяснить причины, стоящие за поведением пользователей.
Команды, которые в процессе разработки достигли такого уровня, когда они могут насладиться процессом быстрого итеративного A/B-тестирования, прошли до этого момента долгий путь, принимая решения в условиях недостатка точных данных. Некоторые разработчики могут поддаться соблазну пропустить этап качественных исследований и сразу перейти к A/B-тестированию своего кандидата в MVP на соответствие рынку. Но такой подход почти наверняка приведет к напрасному расходованию ресурсов и провалу. В этом случае проведенное A/B-тестирование, скорее всего, закончится достижением низкого локального максимума, на котором они и застрянут в значительном отдалении от соответствия рынку.
Давайте вернемся к пирамиде соответствия продукта рынку, снова показанной на Рисунке 14.7. Гипотезы, которые вы выдвигаете на одном слое, влияют на все слои, находящиеся выше. Гипотезы, относящиеся к уровню пользовательского опыта, являются наименее затратными для внесения изменений. Изменение набора функций продукта также возможно, но потребует уже больших усилий. Что же касается основополагающих элементов соответствия продукта рынку – представление о целевых клиентах, их недостаточно удовлетворенных потребностях, а также ценностное предложение, – то их будет очень сложно изменить после того, как вы создадите свой продукт. Как только вы сформулируете свои гипотезы, соответствующие этим слоям пирамиды, они становятся похожи на взаимосвязанные тектонические плиты. Если вы сдвинете хотя бы одну из них после завершения разработки, созданный вами продукт в значительной мере утратит свою актуальность и устойчивость – эффект будет подобен тому, как землетрясение превращает здание в руины. Когда это происходит, человеческая природа заставляет нас стремиться к сохранению и повторному использованию как можно большей части результатов уже проделанной работы. Но это может добавить обременительные ограничения в пространство решений, что еще больше осложняет ситуацию в условиях, когда изменение гипотез происходит в пространстве проблем. В таких случаях бывает проще начать строительство с нуля, уже на новом фундаменте.
Рисунок 14.7. Пирамида соответствия продукта рынку
Последовательность шагов в процессе разработки бережливого продукта выстроена таким образом, чтобы ключевые гипотезы подвергались проверке в том порядке, который в наибольшей степени снижает риски и увеличивает шансы на достижение соответствия продукта рынку. Проблемное пространство не настолько пригодно для использования метода A/B-тестирования, как пространство решений. На трех нижних уровнях пирамиды соответствия продукта рынку требуется проведение качественных исследований, чтобы вы могли создавать, тестировать и совершенствовать свои гипотезы. После запуска продукта происходит плавный переход от преимущественного использования качественных методов сбора информации и обучения к количественным. Короче говоря: качественное исследование помогает вам определить, что должен представлять собой продукт, а количественное – как довести его до совершенства. Таким образом, чтобы создать успешный продукт, вам потребуется помощь и Опры, и Спока.