Когда я собрала CaseLab, бету по ссылке я открыла уже на следующий день. А вот понять, работает ли он, оказалось намного дольше. Скорость сборки сместила узкое место: собрать стало быстро, получить обратную связь по-прежнему медленно.
Проверка на живых людях — это то, что чаще всего пропускают, когда собирают с ИИ. Продукт выложен, ссылка есть, кажется, что дело сделано. Но выкладка в интернет ещё ничего не доказывает. Рассказываю, как я сейчас подхожу к этой проверке и что узнала на собственных ошибках.
Что именно проверяем
У первой проверки два разных вопроса, и их полезно не смешивать:
- Может ли человек пройти главный сценарий? Это юзабилити: понятен ли вход, не ломается ли путь, где люди застревают.
- Хочет ли он это делать? Это ценность: возвращается ли человек, доводит ли до результата, готов ли рекомендовать или платить.
Первый вопрос проверить легче, и поэтому часто проверяют только его. Почему хорошие результаты тестов не гарантируют, что функцией будут пользоваться, я подробно разбирала в статье «Почему фичей никто не пользуется».
Кого звать
Не всех подряд. На бете CaseLab я искала тех, кто действительно пройдёт кейс и даст подробную обратную связь. Записывались через личное сообщение в Telegram, а не «плюсиком в комментариях». Плюсик ничего не стоит и ничего не обещает, а личное сообщение — уже маленькое действие.
Хороший первый пользователь:
- прямо сейчас решает задачу, ради которой вы делали продукт;
- уже пытался решить её другим способом — это самый сильный сигнал настоящей боли, подробнее в статье про PMF на практике;
- готов потратить время и рассказать, что не так.
Друзья, которые «посмотрят и скажут, что круто», для этой проверки почти бесполезны. Если пока не понятно, где искать людей, подойдут те же каналы, что и для интервью: я собрала их в статье о поиске респондентов без бюджета.
Сколько людей нужно
Для первой проверки достаточно нескольких человек, которые пройдут главный сценарий целиком. Пять внимательных пользователей дают больше, чем пятьдесят случайных переходов по ссылке: по ним видно, где люди застревают и что для них ценно. Статистика понадобится позже, когда вопрос «нужно ли это» сменится на «насколько хорошо работает».
Что смотреть: поведение важнее слов
Сказать «интересно» легко. Гораздо сильнее сигнал, когда человек тратит время, доходит до результата и возвращается. Поэтому на первой проверке я смотрю на поведение:
- Дошёл ли до результата. В CaseLab это готовый кейс, который человек скачал.
- Где остановился. На каком шаге люди уходят и не возвращаются.
- Вернулся ли. Особенно если его никто не звал.
Двух-трёх таких показателей для первой версии хватает. Пирамида метрик и выручка появятся позже, когда станет ясно, что продукт нужен. Как связывать метрики продукта с деньгами, я разбирала в статье про пирамиду метрик.
Где я ошиблась
Не проверила, что данные собираются. Я рассчитывала смотреть записи сессий в Яндекс Метрике, но Вебвизор не записывал визиты. Пришлось поставить Microsoft Clarity. Урок: проверять сбор данных в первый же день, до того как звать людей.
Ждала, что отзывы придут сами. Открыть бету — не то же самое, что получить обратную связь. Людей нужно звать, напоминать им и спрашивать конкретно: «на каком шаге было непонятно?», а не «как вам?».
Думала, что бесплатный продукт продаёт себя сам. Ссылка в описании профиля сама по себе людей не приводит. Бесплатный продукт тоже нужно продвигать.
Мой чек-лист на следующий запуск
- Перед запуском записываю гипотезу и 2–3 сигнала, по которым пойму, что она подтверждается или нет.
- Проверяю, что аналитика пишет данные, на своём же прохождении.
- Зову людей лично и договариваюсь о коротком разговоре после.
- Задаю конкретные вопросы про шаги сценария, а не про впечатления.
- Смотрю записи сессий тех, кто остановился, и сверяю с тем, что люди рассказали.
Следующий шаг для CaseLab — открытый продуктовый разбор, где участники вместе решают задачу в тренажёре. Так я смогу увидеть, как люди работают с ним вживую, и сразу услышать вопросы.
Как это устроено в марафоне
В Product Builder Marathon проверке посвящена вся четвёртая неделя: первые пользователи, тестирование, обратная связь, первые метрики и доработка. Заканчивается она демо-днём, где каждый рассказывает не только что собрал, но и что узнал от живых людей. Как устроены остальные недели, я описала в статье «Как собрать MVP с ИИ за 4 недели».
Больше заметок про продуктовое мышление и сборку с ИИ — в моём Telegram-канале: t.me/jd_tools_life
Частые вопросы
Сколько пользователей нужно, чтобы проверить MVP?
Для первой проверки достаточно нескольких человек, которые пройдут главный сценарий целиком. Пять внимательных пользователей покажут, где люди застревают и что им ценно. Статистика понадобится позже.
Какие метрики смотреть у MVP?
Две-три метрики поведения: дошёл ли человек до результата, на каком шаге остановился и вернулся ли сам. Выручка и сложные метрики нужны позже, когда понятно, что продукт нужен.
Где найти первых пользователей для MVP?
Там же, где респондентов для интервью: в профессиональных сообществах, у знакомых знакомых, среди тех, кто уже решает эту задачу другим способом. Звать лучше лично, а не постом с просьбой поставить плюсик.
Почему первые пользователи не оставляют обратную связь?
Потому что им не задали конкретный вопрос. Отзывы сами не приходят: людям нужно напоминать и спрашивать про конкретный шаг сценария, а не про общее впечатление.