Знакомая история. Команда три месяца делала новую функцию. На юзабилити-тесте все восемь респондентов прошли сценарий, никто не запутался, двое даже сказали «удобно». Релиз, дашборд, неделя ожидания... Функцией пользуется меньше процента аудитории, и график не растёт.
Первая реакция обычно — «надо доработать интерфейс» или «надо лучше анонсировать». Иногда это правда. Но чаще проблема сидит глубже, и чтобы её найти, надо понять, что тест на самом деле проверил.
Что проверяет юзабилити-тест
На тесте мы даём человеку задачу: «Представьте, что вам нужно сделать X. Попробуйте». Он садится, сосредотачивается и делает. Тест честно отвечает на один вопрос: может ли пользователь пройти сценарий.
А в проде вопросов больше. Заметит ли человек функцию среди всего остального? Возникнет ли у него эта задача в реальной жизни? Вспомнит ли он про функцию в нужный момент? Окажется ли она лучше того, как он справляется сейчас? На тесте всё это задано условием задачи. Поэтому хороший результат теста говорит только о том, что интерфейс не мешает.
Причина первая: функцию не находят
На тесте мы сами приводим человека к нужному экрану. В жизни он открывает приложение со своей целью и идёт привычным маршрутом. Если вход в новую функцию спрятан в меню, на третьем экране или в разделе, куда он не заходит, функции для него просто нет.
Проверяется это быстро: посмотрите, сколько людей вообще видели точку входа. Если мало — проблема в размещении, и её можно решить, не переделывая саму функцию.
Причина вторая: у человека нет этой задачи
Самая неприятная причина, потому что интерфейсом её не исправить. Функция может решать реальную проблему, но редкую или не у той аудитории. Или проблема есть, но в другой момент: пользователь вспоминает о ней вечером дома, а функция живёт внутри сценария, который он проходит утром на бегу.
Тут помогает разговор про прошлый опыт. Вопрос «когда в последний раз у вас была такая ситуация и что вы делали» даёт гораздо больше правды, чем «воспользовались бы вы такой функцией». Подробнее о таких интервью я писала в руководстве по JTBD.
Причина третья: старый способ достаточно хорош
У пользователя почти всегда уже есть способ решить задачу: скриншот, заметка, звонок, сообщение в чат, таблица. Неидеальный, зато привычный и почти без усилий. Новая функция конкурирует именно с ним.
Если выигрыш небольшой, переучиваться человек не станет. Полезно заранее спросить себя: чем мы лучше того, что пользователь делает сейчас, и насколько? «Немного удобнее» обычно не хватает, чтобы сменить привычку.
Причина четвёртая: мы неправильно считаем
Бывает, что с функцией всё в порядке, а метрику выбрали неудачно. Если функция нужна только тем, кто, например, оформляет возврат, то считать долю от всей аудитории бессмысленно. Считать стоит от тех, у кого такая ситуация возникла. Один процент от всех может оказаться шестьюдесятью процентами от тех, кому функция была нужна.
Поэтому ещё до релиза стоит договориться, какой результат команда будет считать успехом и от какой базы его считать. После релиза такие договорённости почти всегда подгоняются под цифру.
Как разобраться, если уже зарелизили
Я бы разложила путь пользователя на три шага и посмотрела, где теряются люди:
- увидели точку входа;
- попробовали хотя бы раз;
- вернулись второй раз.
Не видят — дело в размещении. Видят, но не пробуют — непонятна ценность или нет задачи. Пробуют, но не возвращаются — функция не лучше старого способа или разочаровала с первого раза.
После этого стоит поговорить с людьми. Пять-семь коротких звонков с теми, кто попробовал и бросил, объясняют больше, чем неделя разглядывания графиков. И отдельно пара разговоров с теми, кто пользуется регулярно: у них часто находится сценарий, о котором команда вообще не думала.
Как не попадать в это до релиза
Юзабилити-тест нужен, но спрос им не проверишь. Спрос проверяется по-другому: интервью про прошлое поведение, фейковая кнопка, которая считает клики до того, как функция написана, ручная версия сервиса на небольшой группе. Всё это дешевле трёх месяцев разработки.
И ещё одно правило, которое я держу для себя: до начала работы записать, какого поведения пользователей мы ждём и в каких цифрах. Если сформулировать это не получается, возможно, задача ещё не готова к разработке. Об этом подробнее в статье про приоритизацию бэклога.
Больше разборов про продуктовое мышление и реальные кейсы — в моём телеграм-канале.