В стартапе Aardvark команда применила этот метод для проверки своего ценного предложения «социальный поиск». Они использовали дешевую рабочую силу для экспериментов с ответами роботов и для выполнения ручной работы по поиску людей в сети, которые могли бы ответить на вопрос. Стажер выдавал себя за бота, переписываясь с человеком, выполняющим поиск, и определенным лицом, которое могло дать ответ. (Они продали компанию Google менее чем за два года.)
Сообщается, что Amazon также использовала этот метод для первоначальной разработки своих рекомендаций «людям также нравится». Сначала они составляли рекомендации вручную, чтобы доказать, что те достаточно прибыльны и интересны для инвестирования в данные и разработку алгоритмов. Таким же образом запустила весь свой бизнес компания Zappos.
Термин «претотип» введен Альберто Савойей (посмотрите его выступление Build the Right It[45]), и он означает «быструю низкоточную версию вашей концепции, будь то продукт, услуга или бизнес, которая является достаточно проработанной, чтобы провести реальное, основанное на данных подтверждение. Если прототипы отвечают на вопрос «Можем ли мы это создать?», то претотип решает вопрос «Стоит ли нам это создавать?».
Его не следует путать с «дымовым тестированием» (что означает базовый набор функциональных тестов, выполняемых для того, чтобы убедиться, что ничего не сломано; термин возник из идеи запустить машину и убедиться, что ничего не дымит). Smokescreen-тестирование – это продвижение еще не существующего продукта с целью определения уровня спроса.
Возможно, вы помните историю о том, как Джей Завери доказал наличие неудовлетворенного спроса на «Word на iPad», запустив рекламу, в которой утверждалось, что решение готово. Количество подписок, собранных в результате этой рекламы, было результатом успешного smokescreen-тестирования.
Тест с «фальшивой дверью» аналогичен smokescreen-тесту, но в нем вместо целевой страницы или формы регистрации пользователю представляется реальная функция в интерфейсе продукта. Когда человек пытается ее использовать, перед ним появляется реклама будущей функции и иногда способ зарегистрировать интерес (например, просьба получить уведомление, когда она будет готова). Трафик по этой фантомной функции – это один из способов оценить интерес.
Но в этом тесте существует риск разочаровать ваших пользователей.
Гораздо более целенаправленным вариантом оценки соответствия продукта рынку является тест «Разбитое стекло», или «Жесткий тест», в котором пользователю предлагается функция, но намеренно усложняется доступ к ней или ее использование. Это способ определить, достаточно ли велик спрос на данную функцию, чтобы инвестировать в ее дальнейшее развитие.
Внутренне тестирование (англ. dogfooding), или «поедание корма для собак», – это тестирование функции на своих сотрудниках, перед тем как она будет выдана клиентам.
Google, как известно, сделала это с большим успехом для Gmail и с большим провалом для Google Plus.
Ваши сотрудники не всегда являются лучшими представителями ваших клиентов, но у этого тестирования есть одно существенное преимущество: гораздо труднее игнорировать проблемы с удобством использования и другие неприятности, когда они мешают вашей собственной работе.
При планировании значительных изменений в существующем продукте с обширной базой пользователей частичное внедрение позволяет оценить степень приемлемости и признания, а также устранить проблемы, которые, возможно, не были выявлены в ходе исследований, проектирования или юзабилити-тестирования.
Обычно новая функция внедряется только для 10 % пользователей, реакция которых внимательно отслеживается. Если возникнет проблема, функция откатывается и исправляется. Если все выглядит хорошо, она выпускается на 20 % ваших пользователей, и все повторяется. В какой-то момент вы можете почувствовать уверенность перейти сразу к 50 % пользователей, а затем наконец ко всем.
Бета-версия программы – это еще один способ предложить сделанные на основе непроверенных теорий новые функции основной группе преданных пользователей, которые готовы протестировать для вас то, что еще не полностью готово. Как только функции будут проверены, их можно выпускать для людей не из бета-группы, а бета-пользователи могут начать играть с еще более новой идеей.
При тестировании с удержанием, или holdback-тестировании, вы переводите продукт на новую функцию или вносите изменение, но при этом сохраняете старую версию для небольшой группы пользователей, чтобы отслеживать последствия изменений с течением времени. Как выразился Райан Рамси, основатель Second Wave Dive: «Режим удержания – это хороший способ оценить производительность с течением времени. Я думаю, что многие команды считают, что первоначальный результат теста равен результатам по прошествии времени. Я обнаружил, что многие функции поначалу использовались только потому, что они были новыми, но через 90 дней про них забывали».
Вы можете проводить эксперименты не только над функциями продукта и пользовательским опытом, но и над другими элементами цепочки создания ценности, такими как продажи или маркетинг. Одним из примеров подобного эксперимента является провокация подачи, когда вы пробуете одну или несколько стимулирующих подач продукта и определяете, какая лучше всего обосновывает ваше решение. Провокационная подача принимает такую форму: «У вас есть большая проблема, но мы вам поможем».
Том Кервин сказал: «Это способ, который помогает вам прояснить ваше понимание проблем и возможных ценных предложений. Мы создаем несколько экстремальных, возможно, неверных версий каждого из них и затем просим потенциальных/действующих пользователей отреагировать и сказать, что, по их мнению, это все значит, и так далее. Исходя из результатов, мы сможем лучше понимать обстановку».
Помните, что быть гибким означает постоянно оценивать работу вашей команды и искать способы повышения ее эффективности. Помимо пассивного выявления технологических проблем и последующего поиска решений, вы можете поэкспериментировать с вариациями ваших процессов и определить, что работает лучше.
Как сказал Райан Рамси, вы можете задать себе такие вопросы, как «Что происходит с процессом принятия решений или его скоростью, когда мы меняем структуру повествования?», а затем поэкспериментировать с изменениями и оценить их влияние.
Если вы сделаете эксперименты образом жизни, то будьте готовы смотреть на все через эту призму.
ДЕНЬ ИЗ ЖИЗНИ МЕНЕДЖЕРА ПРОДУКТА В СТАРТАПЕ
Николас Дюран, старший менеджер продукта в Suvaun, стартапе по медицинским пособиям – Насколько зрелой является ваша организация (или как давно существует)?
– Четыре года, с мировоззрением стартапа.
– Поделитесь тем, что поможет описать среду, в которой вы управляете продуктом.
– Мы молодая компания, недавно приобретенная, разрабатываем технологическую платформу для многомиллиардной индустрии и постоянной аудитории, которая в основном устойчива к изменениям.
– Как вы проводите раннее утро?
– Обычно я просматриваю/обновляю/упорядочиваю список дел на день и неделю. Сначала я выбираю срочные задачи, а затем перехожу к собраниям, планирую обновления и работаю с документацией.
– Как у вас начинается рабочий день?
– Утром это семейная рутина, кофе, еще раз кофе (иногда быстрый просмотр онлайн-новостей и лент с интересными отраслевыми обновлениями), быстрая проверка системы на наличие каких-нибудь новых задач, приглашений из календаря и отслеживание напоминаний. Затем здоровая утренняя встреча с командой. Далее начинаются гонки.
– Как вы проводите бóльшую часть утра?
– Расчищаю завалы и веду переписку.
– Чем заканчивается утро?
– Текущая рутина, и прерываюсь только от чувства голода. Затем я решаю, есть время пообедать или нет.
– Когда вы делаете перерыв на обед?
– Обычно обеденный перерыв приходится на середину дня – где-то между 11:00 и 15:00. Иногда выхожу на улицу на 10–15 минут, чтобы побыть на солнце.
– Что вы делаете в первую очередь после обеда?
– Проверяю электронную почту и восстанавливаюсь после еды.
– Как вы справляетесь с авралом или незапланированной работой?
– Осторожно! Я проверяю приоритеты, оцениваю риски и в соответствии с этим составляю план. Все зависит от серьезности проблемы.
– Как вы проводите большую часть дня?
– Я провожу встречи, составляю сценарии использования и ищу способы повышения эффективности работы.
– Что вы делаете в конце рабочего дня?
– Доливаю себе кофе, обновляю заметки на следующий день, просматриваю каналы и обновления в интернете, проверяю LinkedIn и благодарю команду за еще один отличный день.
– Вы работаете по вечерам?
– Только если это необходимо.
Ключевые идеи
• Экспериментирование – это образ жизни менеджеров продукта.
• Создание, исправление и оптимизация – это все аспекты разработки, с которыми вы можете экспериментировать.
• Создавайте проверяемые гипотезы о том, как улучшить результаты и устранить проблемы.
• На каждую гипотезу придумайте как можно больше идей для экспериментов.