3. Тестирование настроек рекламного кабинета:
• цели;
• ставки оплат;
• дни недели.
4. Посадочная страница.
Ее можно начинать тестировать и раньше, если поведенческая аналитика намекает, что конверсиями здесь не пахнет. Если хотите углубиться — попробуйте прочитать You shoud test that Криса Говарда (на русский не переводилась). Кроме того, еще раз говорю вслух, что в качестве посадочной страницы может выступать сообщество, а значит, внутри него тоже стоит тестировать обложку, название и первые 5–10 постов.
5. Факторы внешнего мира.
Их тестировать не надо, да и как вы себе это представляете? Просто помните, что они могут иметь значение, и когда сталкиваетесь с очередным «необъяснимо, но факт» в результатах своих кампаний, увеличивайте количество факторов, которые учитываете во время анализа.
Резюмируем: тестирование, если разобраться по существу, — это просто жонглирование значимыми элементами до момента получения желаемого результата. Мы перебираем их в полуслепом режиме. Так вот, чтобы это имело смысл, важно, чтобы наиболее успешное объявление всегда находилось в ротации. Пока вы ищете, как бы еще «пробить потолок индифферентности», пусть объявление с лучшим CTR крутится до состояния статистической значимости (см. фрагмент ниже), пусть объявление, с которого состоялась продажа, потихоньку, но увеличивает охваты. В общем, не давайте своему рекламному кабинету простаивать. Разумеется, после того, как вам удастся найти более работоспособный вариант, перемещайте его в перманентную ротацию. Ну и так далее.
Реальные примеры логики тестирований (как это происходит в жизни) настоятельно рекомендую вам изучать по кейсам, которые мелькают на рынке, — у меня самого на сайте вывешено несколько десятков экземпляров.
Статистическая значимость тестов
Есть такой элементарный логический закон: увеличение количества целевых действий обратно пропорционально уменьшению коэффициента отклонения от средней величины. Перевожу на русский язык: если вы подбросите монетку один раз, вероятность того, что выпадет решка, довольно высока — один к двум (50 %). Если вы подбросите монетку два раза, вероятность того, что оба раза выпадет решка, уже будет один к четырем (25 %). Если три раза — один к девяти (11,1 %). Если четыре — один к 16 (6,25 %) и т. д. То есть чем больше раз вы подбрасываете монетку, тем меньше вероятность перекоса в какую угодно сторону. На десяти монетках, подброшенных в воздух, еще можно наткнуться на счастливые десять решек из десяти (такая вероятность равна 1 к 100), но вот на 10 000 такая вероятность практически ничтожна (1 к 100 000 000, или 0,0000001 %), и, скорее всего, с каждым новым броском результат будет приближаться к логичному 50 на 50. (Надеюсь, основную мысль вы уловили[7].)
К чему я это… В Сети время от времени мелькают принтскрины от «крутых» специалистов, которые хвастаются CTR кликов «ВКонтакте» где-нибудь на уровне 0,120 % или, допустим, вообще 5,300 % (что, безусловно, должно впечатлять), только вот на объемах 1–2 клика или, скажем, 100–500 показов (что, безусловно, должно вызывать недоумение) (рис. 4.3).
Рис. 4.3
Как вам нравится CTR в размере 66,667 %? (Скриншот совершенно реальный, я его не нарисовал, а любезно позаимствовал у коллег.) Лично я впечатлен. Но посмотрите чуть внимательнее — показов три, а переходов два. Бьюсь об заклад — стоит автору принтскрина всего лишь обновить страницу — и через пару минут цифра показов взлетит до 3000 человек (при 400 охвата), а переходов так и останется два. Вуаля — и наш CTR падает до ноль целых фиг десятых.
Опять же перевожу на русский язык… Предположим, вы дали мне 100 рублей на рекламу. Я добросовестно напарсил (собрал) аудиторию 40 000 человек и настроил на нее показ рекламы по цене два рубля за 1000 показов (чего хватит, чтобы показать рекламу даже 50 000 человек). И в 12 часов дня ее запустил (примерно в это время техподдержка «ВКонтакте» начинает модерировать объявления и пропускать их в работу). Через пару минут обновляю страницу и вижу, что на 324 показа (которые только-только начали откручиваться) у меня два клика, что равно CTR 0,617. «Вау!» — думаю я, делаю принтскрин и начинаю всем хвастаться.
Но позвольте… Общий объем аудитории — 40 000 человек; 324 — это менее 1 %. Можно ли это считать рабочим, средним CTR по рекламному объявлению? Конечно, нет! Потому что — что? Потому что чем меньше пользователей от общей величины охвачено, тем выше вероятность погрешности.
Среднюю величину (и реально «чистый» показатель) CTR дает только тот CTR, который учитывает результаты одной полноценной открутки на значимый объем целевой аудитории (то есть когда мы будем знать реакцию на 40 000 показанных объявлений, в нашем примере это утрировано, но от истины недалеко, подробные пояснения — уже через страницу). Больше 40 000 — это уже некорректная информация (потому что по второму кругу CTR прогнозируемо начинает падать — реклама надоедает). Примерно (примерно!) то же самое касается частотности показов в Facebook.
В реальной полевой работе охват никогда не бывает 100 %, потому что какие-то пользователи именно в эти дни не заходили в соцсеть, до каких-то мы величину ставок недотянули, да и банально оптимизационные алгоритмы Facebook не позволят… Поэтому адекватный показатель, на который можно опираться при оценке среднего СTR, — около 70 % охвата.
Дальше… Предположим, вы открываете свою «Яндекс. Метрику» или Google Analytics и видите, что средняя конверсия по всем источникам трафика — 3 % (что очень даже немало). Значит, для получения одной конверсии сколько вам нужно посетителей на сайте? Правильно — 33.
Но если вы работаете в режиме 100 рублей на один тизер в сети «ВКонтакте» и $1 на продвижение поста в Facebook, какое количество трафика фактически приходит на сайт? Скорее всего, 5–10 человек с одного запуска.
Приходит десять, а для получения одной конверсии надо как минимум 33. Мораль: любые выводы, которые вы сделаете, руководствуясь этими данными, будут ложными. Потому что, если первые десять пользователей заявок не оставили, не факт, что следующие десять будут вести себя так же. И наоборот: если на десять зашедших вы получили три конверсии — это прекрасная динамика, но масштабироваться она, скорее всего, будет с другим порядком цифр (чем больше данных вы будете получать, тем больше они будут «расплываться» — вспоминайте пример с монеткой).
Если не углубляться в теорию (с ней прекрасно помогут разобраться книги и учебники, которые я перечислил выше) и просто руководствоваться здравым смыслом, для нас с вами это значит, что принимать решения об эффективности или неэффективности конкретных объявлений можно исключительно на основании объемов трафика в 2–3 раза (а лучше — больше) превышающих количество, минимально необходимое для совершения одной конверсии. Если конверсия на сайт 1 % — минимум 100 человек, в идеале 200–300; если 5 % — 20 человек, в идеале 40–60; если 0,05 % — 200 человек, в идеале 400–600 и т. д.
И вот еще что, раз уж ввязались, давайте дойдем до конца. Генеральная совокупность — это выборка людей (в нашем случае пользователей), с которой вы работаете. Чтобы результаты (целевые действия — например, добавление товара в «Корзину» на сайте) характеризовали всю генеральную совокупность, нам нужно учитывать такой параметр, как предел погрешности. То есть ответ на вопрос, насколько можно быть уверенными, что полученные результаты отображают мнение всей выборки (например, чтобы на 95 % быть уверенными, что результаты удастся повторить при масштабировании, с генеральной совокупности 100 000 человек нужно получить 383 конверсии) (рис. 4.4).
Рис. 4.4
Дальнейшее погружение требует уже обсуждения степени доверительности самой выборки, и, пожалуй, мы не будем это затрагивать в рамках книги о таргетинге.
Подведем промежуточные итоги. Чтобы делать выводы как профессионалы:
• принимайте решения относительно работоспособности целевого сегмента аудитории с поправкой на то, что сравнительно «чистые» данные — только в первом круге охватов; начиная со второго эффективность начинает падать (хотя бывают исключения, а абсолютная «чистота» недостижима в принципе);
• любые выводы, которые базируются на цифрах, должны подчиняться требованиям статистической достоверности — чтобы не считать вручную, используйте калькуляторы статистической значимости, например http://tools.driveback.ru/ significance.html или https://www.perrymarshall.com/marketing/tools/ (в «Яндекс. Метрике» и Google Analytics они встроены по умолчанию);
• анализируя эффективность объявлений, добивайтесь по каждому из них такого количества трафика, которое необходимо для совершения как минимум одной конверсии на посадочной странице (а лучше — в 2–3 раза больше).
Ну что, появилась ясность? Давайте в нее теперь добавим еще и нашего любимого реализма.
Если в нашем несовершенном мире при средней конверсии в Рунете 1 % каждое объявление дотягивать до статистической достоверности, у вас на тестирование будет уходить от $1000–1500 для одного канала и более. Поэтому давайте руководствоваться научным подходом, но не заигрываться.
Выключайте объявления:
• когда они вообще не дают кликов — у вас отмоталось уже 1, 3, 17 долларов, а по кликам все еще ноль;
• когда клики есть, но у них аховое поведение на посадочной (предположим, коэффициент отказа в «Яндекс. Метрике» — 83 %); очевидно, что в такой ситуации вы теряете 83 % трафика, а значит, его нужно в пять раз больше;
• когда цена за клик превышает порог рентабельности (вы ведь знаете, сколько должна стоить конверсия, чтобы таргетированная реклама оставалась для вас рентабельной? Если нет — посчитайте).
С другой стороны, если до статистической значимости количество конверсий вы еще недотянули, но динамика очевидно выигрышная (допустим, при средней конверсии лендинга 0,7 % на 20 кликах вы получили пять заявок) — перевкладывать деньги стоит именно сюда.