Когда я собрала CaseLab, бету по ссылке я открыла уже на следующий день. А вот понять, работает ли он, оказалось намного дольше. Скорость сборки сместила узкое место: собрать стало быстро, получить обратную связь по-прежнему медленно.

Проверка на живых людях — это то, что чаще всего пропускают, когда собирают с ИИ. Продукт выложен, ссылка есть, кажется, что дело сделано. Но выкладка в интернет ещё ничего не доказывает. Рассказываю, как я сейчас подхожу к этой проверке и что узнала на собственных ошибках.

Что именно проверяем

У первой проверки два разных вопроса, и их полезно не смешивать:

  • Может ли человек пройти главный сценарий? Это юзабилити: понятен ли вход, не ломается ли путь, где люди застревают.
  • Хочет ли он это делать? Это ценность: возвращается ли человек, доводит ли до результата, готов ли рекомендовать или платить.

Первый вопрос проверить легче, и поэтому часто проверяют только его. Почему хорошие результаты тестов не гарантируют, что функцией будут пользоваться, я подробно разбирала в статье «Почему фичей никто не пользуется».

Кого звать

Не всех подряд. На бете CaseLab я искала тех, кто действительно пройдёт кейс и даст подробную обратную связь. Записывались через личное сообщение в Telegram, а не «плюсиком в комментариях». Плюсик ничего не стоит и ничего не обещает, а личное сообщение — уже маленькое действие.

Хороший первый пользователь:

  • прямо сейчас решает задачу, ради которой вы делали продукт;
  • уже пытался решить её другим способом — это самый сильный сигнал настоящей боли, подробнее в статье про PMF на практике;
  • готов потратить время и рассказать, что не так.

Друзья, которые «посмотрят и скажут, что круто», для этой проверки почти бесполезны. Если пока не понятно, где искать людей, подойдут те же каналы, что и для интервью: я собрала их в статье о поиске респондентов без бюджета.

Сколько людей нужно

Для первой проверки достаточно нескольких человек, которые пройдут главный сценарий целиком. Пять внимательных пользователей дают больше, чем пятьдесят случайных переходов по ссылке: по ним видно, где люди застревают и что для них ценно. Статистика понадобится позже, когда вопрос «нужно ли это» сменится на «насколько хорошо работает».

Что смотреть: поведение важнее слов

Сказать «интересно» легко. Гораздо сильнее сигнал, когда человек тратит время, доходит до результата и возвращается. Поэтому на первой проверке я смотрю на поведение:

  • Дошёл ли до результата. В CaseLab это готовый кейс, который человек скачал.
  • Где остановился. На каком шаге люди уходят и не возвращаются.
  • Вернулся ли. Особенно если его никто не звал.

Двух-трёх таких показателей для первой версии хватает. Пирамида метрик и выручка появятся позже, когда станет ясно, что продукт нужен. Как связывать метрики продукта с деньгами, я разбирала в статье про пирамиду метрик.

Где я ошиблась

Не проверила, что данные собираются. Я рассчитывала смотреть записи сессий в Яндекс Метрике, но Вебвизор не записывал визиты. Пришлось поставить Microsoft Clarity. Урок: проверять сбор данных в первый же день, до того как звать людей.

Ждала, что отзывы придут сами. Открыть бету — не то же самое, что получить обратную связь. Людей нужно звать, напоминать им и спрашивать конкретно: «на каком шаге было непонятно?», а не «как вам?».

Думала, что бесплатный продукт продаёт себя сам. Ссылка в описании профиля сама по себе людей не приводит. Бесплатный продукт тоже нужно продвигать.

Мой чек-лист на следующий запуск

  • Перед запуском записываю гипотезу и 2–3 сигнала, по которым пойму, что она подтверждается или нет.
  • Проверяю, что аналитика пишет данные, на своём же прохождении.
  • Зову людей лично и договариваюсь о коротком разговоре после.
  • Задаю конкретные вопросы про шаги сценария, а не про впечатления.
  • Смотрю записи сессий тех, кто остановился, и сверяю с тем, что люди рассказали.

Следующий шаг для CaseLab — открытый продуктовый разбор, где участники вместе решают задачу в тренажёре. Так я смогу увидеть, как люди работают с ним вживую, и сразу услышать вопросы.

Как это устроено в марафоне

В Product Builder Marathon проверке посвящена вся четвёртая неделя: первые пользователи, тестирование, обратная связь, первые метрики и доработка. Заканчивается она демо-днём, где каждый рассказывает не только что собрал, но и что узнал от живых людей. Как устроены остальные недели, я описала в статье «Как собрать MVP с ИИ за 4 недели».

Больше заметок про продуктовое мышление и сборку с ИИ — в моём Telegram-канале: t.me/jd_tools_life

Частые вопросы

Сколько пользователей нужно, чтобы проверить MVP?

Для первой проверки достаточно нескольких человек, которые пройдут главный сценарий целиком. Пять внимательных пользователей покажут, где люди застревают и что им ценно. Статистика понадобится позже.

Какие метрики смотреть у MVP?

Две-три метрики поведения: дошёл ли человек до результата, на каком шаге остановился и вернулся ли сам. Выручка и сложные метрики нужны позже, когда понятно, что продукт нужен.

Где найти первых пользователей для MVP?

Там же, где респондентов для интервью: в профессиональных сообществах, у знакомых знакомых, среди тех, кто уже решает эту задачу другим способом. Звать лучше лично, а не постом с просьбой поставить плюсик.

Почему первые пользователи не оставляют обратную связь?

Потому что им не задали конкретный вопрос. Отзывы сами не приходят: людям нужно напоминать и спрашивать про конкретный шаг сценария, а не про общее впечатление.