«Пользователям нужна функция сравнения». «Клиенты готовы платить за премиум». «Упрощённая форма повысит конверсию». Такие фразы часто называют гипотезами, записывают в бэклог и идут делать. Через месяц функция вышла, цифры какие-то изменились, и команда спорит, подтвердилось или нет.
Спор возникает потому, что гипотезу сформулировали так, что её нельзя опровергнуть. Любой результат можно истолковать в её пользу. А гипотеза, которую нельзя опровергнуть, ничему не учит.
Чем гипотеза отличается от идеи
Идея говорит, что сделать. Гипотеза говорит, что изменится в поведении людей, если это сделать, и по какому признаку мы поймём, что ошиблись. «Добавить сравнение тарифов» — идея. Гипотезой она становится, когда появляется ожидаемый результат, который можно увидеть и измерить.
Я проверяю себя одним вопросом: какой результат заставит меня признать, что я была неправа? Если ответа нет, передо мной всё ещё идея.
Из чего состоит проверяемая гипотеза
В рабочей гипотезе есть шесть частей:
- изменение: что конкретно мы делаем;
- аудитория: для кого, какой сегмент или ситуация;
- метрика: какое поведение пользователей изменится и как мы его посчитаем;
- порог: насколько оно должно измениться, чтобы считать гипотезу подтверждённой;
- срок: за какое время мы ждём результат;
- основание: почему мы вообще в это верим.
В одну фразу это складывается так:
Если мы сделаем [изменение] для [аудитории], то [метрика] изменится с [текущего значения] до [порога] за [срок], потому что [основание].
Шаблон громоздкий, и в разговоре так никто не говорит. Но записать гипотезу целиком хотя бы раз полезно: сразу видно, каких частей не хватает.
Три примера: как переписать
«Людям нужен мой онлайн-курс»
Типичная формулировка эксперта, который хочет упаковать свои знания. Опровергнуть её невозможно: кому-нибудь курс точно нужен.
Проверяемая версия: если показать подписчикам канала страницу курса с ценой 30 000 ₸ и кнопкой предзаписи, не меньше 3% из тех, кто открыл страницу, оставят заявку за две недели. Основание: в личные сообщения регулярно пишут с вопросами на эту тему.
Здесь есть цена, конкретная аудитория и порог. Если заявок меньше, мы узнали что-то важное ещё до того, как записан первый урок.
«Упрощённая форма повысит конверсию»
Непонятно, что именно упрощаем, какую конверсию считаем и насколько она должна вырасти.
Проверяемая версия: если убрать из формы записи поле «Отчество», доля завершивших запись среди начавших вырастет с 40% до 48% за две недели. Основание: в записях сессий заметная часть людей останавливается именно на этом поле.
Теперь понятно, что смотреть в аналитике и какой результат считать успехом.
«Push-напоминания увеличат удержание»
Удержание чего, у кого и за какой период? Под эту фразу подходит любой рост любой метрики.
Проверяемая версия: если новым пользователям, которые не вернулись на третий день, отправлять одно напоминание с незавершённым действием, доля вернувшихся на седьмой день в этой группе вырастет с 12% до 16% по сравнению с контрольной группой без напоминания. Основание: в интервью люди говорят, что просто забывают про приложение после первого визита.
Здесь появилась контрольная группа. Без неё рост легко приписать напоминаниям, хотя его дала сезонность или маркетинговая кампания.
Порог успеха пишется до проверки
Это правило я считаю самым важным. Если порог не записан заранее, после проверки его почти всегда подгоняют под результат. Выросло на 2% — «ну, небольшой, но рост». Не выросло — «наверное, мало времени прошло».
Откуда брать порог? Из того, какое изменение оправдает затраты. Если функция стоит месяц работы команды, рост на полпроцента её не окупит, и это стоит понимать до начала, а не после.
Частые ошибки
- Гипотеза описывает решение, но не проблему. «Нужен чат-бот» ничего не говорит о том, что мешает пользователю сейчас.
- Метрика выбрана по принципу «что у нас уже есть в дашборде», а не по тому, какое поведение должно измениться.
- Проверить можно только полной разработкой. Часто есть способ дешевле, и его стоит поискать.
- В одной проверке меняют сразу несколько вещей. Если результат есть, непонятно, что сработало.
- Основание — «нам так кажется». Это допустимо, но тогда честнее сначала проверить само основание: поговорить с пользователями или посмотреть данные.
Как проверять без разработки
Многие гипотезы можно проверить за несколько дней: страница с кнопкой, которая считает клики до того, как функция существует, ручная версия сервиса для небольшой группы, интервью про прошлое поведение. Почему это важно, я подробнее разбирала в статье о том, почему фичей никто не пользуется. А понять, какую гипотезу проверять первой, помогает приоритизация по цене бездействия.
Чек-лист перед проверкой
- Какой результат докажет, что я неправа?
- Для кого именно это изменение?
- Какую метрику смотрим и какое у неё текущее значение?
- Какой порог записан заранее?
- Сколько времени ждём результат?
- Есть ли способ проверить дешевле, чем разработкой?
Если на все шесть вопросов есть ответ, гипотеза готова к проверке. Если нет, недостающая часть и есть следующая задача.
Если хочется разобрать гипотезы своего проекта вместе, приходите на продуктовую консультацию, первая встреча бесплатная. Больше разборов про продуктовое мышление — в моём телеграм-канале.