Чтобы получить достоверность 95 %, нужно умножать уже на 2. Тогда в 95 случаях из 100 мы получим тот же самый результат при перезапуске теста.
Если умножаем на число 3, считается, что результат повторится практически со 100 %-ной вероятностью. Как правило, чтобы использовать множитель 3, нужно достаточно много времени и трафика.
Дальше все просто – сравнивается математическое ожидание и отклонение.
Как следует из рис. 9.7, по версии А было 55 конверсий, по версии Б – 49. Представим это в виде графика. В одном графике конверсия была бы 55, в другом – 49. Нам нужно сравнить, может ли возникнуть такая ситуация, когда при математическом отклонении одна версия будет наезжать на другую?
Рис. 9.7. Пример 1
Как это сделать? Формула элементарная: нужно сначала найти дисперсию, умножить ее на 2, потом вычесть из лучшей версии или прибавить к худшей.
Например, возьмем версию А, по которой было 55 конверсий. Считаем дисперсию: квадратный корень из 55 – это примерно 7. Версия Б: 49 конверсий. Квадратный корень из 49 также равен 7. Теперь нужно уточнить результат 95 %-ной вероятности, для этого нужно взять 7 и умножить на 2.
Итоговый результат с 95 %-ной вероятностью при перезапуске теста:
• версия А = 55 заявок ± 14 = либо 41 заявка, либо 69 заявок;
• версия Б = 49 заявок ± 14 = либо 35, либо 63 заявки.
Смысл в том, что нам нужно знать предельные значения, чтобы понять, не пересекаются ли они. Просто самый худший результат может дать 41 конверсию по версии А, а по версии Б может дать 63 конверсии. Теоретически, если поменять местами, мы могли бы получить те же самые показатели. Это говорит о том, что результат математически недостоверен, то есть версии А и Б работают одинаково.
Рассмотрим второй пример (рис. 9.8).
На этом примере мы видим по версии А 150 конверсий, а по версии Б 95 конверсий. Точно так же находим корень из версий А и Б. В одном случае это 12, в другом – 10.
Дальше нужно умножить на 2 для того, чтобы получить 95 %-ную вероятность достоверности. В итоге:
• по версии А: 150 ± 12 × 2 = от 126 до 174 конверсий;
• по версии Б: 95 ± 10 × 2= от 75 до 115 конверсий.
Рис. 9.8. Пример 2
Они не перекрываются. Минимально по версии А мы получили 126, а максимально по версии Б – всего 115 конверсий. Это говорит о том, что результат математически достоверный. Мы можем говорить, что версия А в 95 % случаев даст лучший результат, чем версия Б.
Если говорить о системах подсчета трафика, то существует специальный показатель, который называется chance to bit original – «вероятность победить оригинальную версию». Он показывает нам, что найдена лучшая комбинация.
Вам нужно обращать внимание на этот показатель. Если у вас меньше 95 % вероятности, тогда тест еще математически не валиден. А что для вас означает 120–150 конверсий? Это 150 заявок и звонков.
Вот пример из Google Analytics (рис. 9.9): вероятность превосходства над исходным вариантом. Справа выделено, где это показывается. 100 %, не бывает 99,7 %.
Что такое Z? Z – это коэффициент. Он берется из математической статистики, просто нужно понимать, что Z равен либо 1, либо 2, либо 3. В нашем случае нужно умножать на 2. Это статическое число, оно всегда равно 2 в вашем случае. Если Z равен 2, вероятность 95 %, то можно утверждать, что у нас тест прошел хорошо и все так и будет, если отключить другую версию.
Рис. 9.9. Подсчет дисперсии системами тестирования
Важные элементы
Мало того, что всегда необходимо делать предварительный тест, нужно еще тестировать правильные и важные детали.
Какие элементы самые главные? Конечно, это следующие.
Заголовок – что в нем написано и в какой форме он сформулирован: утверждение, вопрос и т. д.
Цена – точнее, решение о ее позиционировании – отсутствие или наличие, оформление и визуальное восприятие.
Оффер – то, что вы предлагаете клиенту. Различные предложения дают различные результаты. Иногда оффер можно оформлять в виде акций на то предложение, которое вы даете, или же давать некое предложение, к которому идут бонусы. Это сильный стимул для клиента.
Призыв к действию – то, что человек получит в результате заполнения заявки. Чем понятнее будет ваш призыв действию, тем лучше.
Картинка – помогает определить очень много важных вещей. В том числе позволяет клиенту получить некое эмоциональное впечатление, идентифицировать себя или посмотреть на возможный результат/выгоду.
Цвет кнопки – красный, синий. В зависимости от того, какой контингент публики. На самом деле не столько важен цвет, сколько контраст. Чем более контрастная кнопка, тем больше вероятность, что на нее кликнут. Чем она больше, тем больше вероятность, что ее заметят.
Размер (длина) лендинга – короткий или длинный. В каких-то ситуациях лучше работает короткий лендинг (например, при сборе подписной базы), в каких-то – длинный.
Виды тестирования
Элементы, которые вы можете тестировать, мы разобрали, теперь перейдем непосредственно к самим видам тестирования.
Существует минимум три теста из тех, которые нужно проводить постоянно: это АБ-тестирование, мультивариантное тестирование и тест на юзабилити.
АБ-тестирование – это сравнение нескольких версий вашего лендинга, при котором трафик может попеременно попадать то на версию А, то на версию Б или вообще на версию С.
Многовариантное тестирование – это тестирование комбинаций нескольких элементов. Одновременно на одном уровне тестируется заголовок, цвет кнопки и ее надпись. Соответственно, возможность комбинаций будет 3 в 3-й степени. На мультивариантное тестирование, как правило, требуется больше времени и денег.
Юзабилити-тест – это опрос ваших пользователей. Достаточно опросить 3–4 пользователей, чтобы выявить 80 % ошибок на сайте.
Теперь подробнее о каждом варианте.
АБ-тест – один набор элементов сайта дает вам один вариант для теста. Это прекрасная вещь для проверки простых гипотез.
Например, несколько разных студий нарисовали вам несколько дизайнов. Вам нужно посмотреть, какой вариант конвертирует лучше, или сравнить, как в примере, какой фон будет работать лучше – черный или белый, какой больше понравится посетителям и вызовет больше доверия.
Так же можно сравнивать и оффер. Если вы, допустим, предлагаете в подарок какой-то бонус. Например, какой напиток в подарок строителям, заказавшим допуски СРО: Jack Daniel’s, водку «Белуга», Jim Beam и т. д. Забегая вперед, скажем, что выиграл Johnnie Walker Red Label.
Плюс в АБ-тестировании состоит в том, что при нем используется немного комбинаций, соответственно, трафика тоже требуется немного.
Результаты при АБ-тестировании видно сразу – вам достаточно быстро становится понятно, какая версия работает лучше.
Минусы АБ-тестирования состоят в том, что не учитывается гармония.
Даже не стоит вдаваться в математическую статистику, что такое долевые элементы конверсии и как они влияют друг на друга. Кнопка, призыв, заголовок – все элементы оказывают влияние друг на друга.
Одна общая комбинация является резонансной. Она дает взрывной рост конверсии. Как правило, такую комбинацию с самого начала найти очень сложно.
В АБ-тестировании эту комбинацию вы не найдете никогда. Любой новый тест будет давать новые результаты. Новый тест отменяет предыдущий результат.
Многовариантное тестирование позволяет тестировать сразу несколько элементов. Например, три заголовка можно сравнить с тремя призывами к действию и тремя картинками. Получается 3 в 3-й степени элементов. Двадцать семь различных комбинаций, которые показываются пользователям.
Например, заголовок 1 – картинка 2 – призыв 3 показываются одному пользователю, заголовок 2 – картинка 2 – призыв 3 показываются другому пользователю. Это сложный тест, который имеет смысл делать на больших порталах, когда много трафика. В этом тесте есть очень весомый плюс – именно здесь можно найти ту самую резонансную комбинацию.
Можно провести параллельное тестирование графики и текста и проанализировать их взаимодействие. Например, подписи и картинки, связь заголовков, призыва к действию и кнопки.
Главный же минус заключается в том, что для такого тестирования потребуется большой объем инвестиций и заметное количество времени. При этом некоторые версии будут работать отвратительно, давать плохой результат и резать вашу прибыль. Имейте в виду, что этот тест нельзя проводить на 100 % трафика. Всегда нужно выделять сегмент (20–30 %).
Юзабилити-тест – это сбор обратной связи от пользователей. Благодаря юзабилити-тесту вы можете не только узнать мнение посетителей сайта, но и найти идеи для сплит-теста.
Существует множество средств для настройки юзабилити-теста. Например, система Quarlaroo. Это чат, который появляется на сайте через некоторое время после того, как пользователь на него зашел.
Человек проводит пять минут на сайте и не отправляет заявку.
Вы можете написать ему: «Почему до сих пор не отправили заявку?»
Он отвечает на вопрос: «Я ничего не понял», «Мне сейчас неинтересно» и т. д.
Далее идет работа с возражениями. В зависимости от опроса респондентов можно предположить, что же на вашем сайте не так.
Есть и более простой способ юзабилити-теста. Он заключается в том, чтобы распечатать вашу посадочную страницу и попросить незнакомых вам людей, например сотрудников соседнего офиса, посмотреть на нее и задать им несколько ключевых вопросов.
• Что это за сайт?
• Чем он занимается?
• В чем предложение этого сайта, оффер?
• Как вы думаете, можно ли доверять этому сайту?