Во второй части про путь в ИИ-продукты я составила карту пробелов и пообещала закрывать их на задачах своих продуктов, а не на курсах. Первым взяла RAG. Задача была такая: помощник отвечает на вопросы по статьям CaseSociety, даёт ссылки на источники, а на вопрос не по теме честно говорит «не знаю».
Собирала вместе с Claude за один день. Рассказываю, что такое RAG, нужен ли он вообще на моём объёме и что показало сравнение на живых вопросах.
Что такое RAG простыми словами
RAG (Retrieval-Augmented Generation) — это генерация ответа с опорой на найденные материалы. Модель не знает моих статей: её учили на интернете до определённой даты. Если спросить её «что Евгения пишет про JTBD-интервью», она уверенно придумает правдоподобный ответ.
RAG решает это так: перед ответом модели подкладывают нужные куски текста. Она ничего не запоминает, а читает их прямо в момент ответа, как шпаргалку.
Мне помогла такая картинка: консультант в библиотеке. Без RAG он отвечает по памяти. С RAG сначала идёт к полкам, достаёт три-пять нужных страниц, кладёт перед собой и отвечает по ним, показывая, откуда что взял.
Технически это три шага:
- Найти. По вопросу выбрать несколько подходящих кусков из всех статей.
- Подложить. Положить эти куски в промпт вместе с правилом: «отвечай только по ним и ставь ссылки».
- Ответить. Модель формулирует ответ. Если в кусках ответа нет, говорит, что не знает.
Главное, что я поняла ещё до кода: модель в RAG отвечает только за формулировку, а за знания отвечает поиск. Если нашлись не те куски, даже лучшая модель ответит плохо.
А нужен ли RAG, если весь блог влезает в контекст?
Это первый вопрос, который стоило себе задать. В блоге сейчас 46 статей, около 290 тысяч знаков, это примерно 120 тысяч токенов. Современная модель может прочитать весь блог целиком за один запрос. Можно вообще без поиска: отдать ей всё и попросить ответить.
Поэтому я решила не верить на слово, а сравнить два варианта на одних и тех же вопросах:
- База: весь блог в каждом запросе.
- RAG: пять подходящих кусков в каждом запросе.
Если база отвечает не хуже, это тоже честный результат. Тогда RAG на моём объёме просто не нужен.
Сначала вопросы, потом код
Прежде чем что-то собирать, я сделала тестовый набор из 11 вопросов. Брала не из головы, а из реальных поисковых подсказок и обсуждений на Хабре и vc.ru: как люди на самом деле спрашивают про респондентов, JTBD-интервью, гипотезы, приоритизацию, ИИ-агентов, продакт-билдеров.
Для каждого вопроса записала, в какой статье лежит ответ и две-три мысли, без которых ответ считается неверным. Ещё добавила три ловушки:
- «Claude Code бесплатный? И как купить подписку из России?» — на первую половину ответ в блоге есть, на вторую нет.
- «Как отключить PMF в настройках Wi-Fi роутера?» — реальный поисковый запрос. У роутеров PMF — это настройка защиты, а в моём блоге PMF — это product-market fit.
- «Как подключить ИИ-агента от Сбера к своему бизнесу?» — слова «ИИ-агент» и «бизнес» в блоге есть, а ответа нет.
Ловушки нужны, потому что на очевидно чужой вопрос вроде рецепта борща «не знаю» скажет любая система. А на вопрос, похожий по словам, — далеко не любая.
Тестовый набор — это критерий готовности из второй части в рабочем виде. После любой правки я прогоняю вопросы, а не перечитываю ответы глазами.
Как я собрала RAG на своём блоге
Статьи блога и так лежат в базе Supabase, поэтому всё собрали там же:
- Нарезка. Каждая статья режется по разделам h2. Получилось 381 кусок, в среднем по 700 знаков.
- Поиск. Пока самый простой — по словам, с русской морфологией: «респондентов» и «респонденты» считаются одним словом. Заголовок раздела весит больше, чем текст.
- Автообновление. Когда я правлю статью в админке, её куски пересобираются сами.
- Порог. Если лучший найденный кусок совсем слабый, система сразу отвечает «в блоге этого нет» и даже не зовёт модель.
- Судья. Отдельная, более дешёвая модель проверяет каждый ответ: прозвучали ли нужные мысли, есть ли выдумки, признал ли помощник незнание.
Код писал Claude. Моя работа — решить, что и зачем делаем, поставить критерии и проверить результат. Но прежде чем идти дальше, я разбиралась в каждом шаге: что такое RAG, нужен ли он мне вообще, за что именно я плачу.
Результаты: база против RAG
| Весь блог | RAG | |
|---|---|---|
| Ответы, где прозвучали все нужные мысли | 9 из 11 | 3 из 11 |
| Нужная статья в ссылках | 9 из 9 | 8 из 9 |
| Честное «не знаю» на ловушках | 3 из 3 | 3 из 3 |
| Выдумки | 0 | 0 |
| Входных токенов на вопрос | ~120 600 | ~2 300 |
| Время ответа | ~7,6 с | ~5,5 с |
На моём объёме база отвечает полнее. Она видит всё, поэтому и ловушки обходит сама: на вопрос про Wi-Fi спокойно объяснила, что в блоге PMF значит совсем другое.
RAG отвечает короче и беднее, но в 50 раз дешевле по входу и быстрее. И у него нет ни одной выдумки: когда нужного куска не находилось, помощник прямо писал, чего в материалах нет. Для меня это главный результат.
Где RAG ошибся и почему
Все ошибки RAG оказались ошибками поиска, а не модели:
- Респонденты. Поиск нашёл вступление и раздел «Чем отблагодарить», но пропустил «Где искать» и «Как отобрать». В итоге ответ на главный вопрос неполный.
- Кейс и вайтборд. Из статьи про вайтборд нашлись только вступление и подготовка за неделю. Раздела про то, как распределить час, в материалах не оказалось, и помощник честно это сказал.
- Discovery и JTBD. Вместо раздела «Где здесь JTBD» нашёлся пример из статьи про Lean Startup.
- Мусорные куски. По одному вопросу место в пятёрке занял кусок «Содержание», то есть оглавление статьи.
Поиск по словам хорошо находит нужную статью, но плохо находит нужный раздел внутри неё. Человек спрашивает «где взять людей», а в заголовке раздела написано «Где искать». Слова разные, смысл один.
Именно эту проблему решают эмбеддинги — поиск по смыслу, а не по словам. Это следующий кирпичик в моей карте, и теперь я точно знаю, зачем он нужен.
Ошибалась не только система
Честно запишу и свои ошибки, они тоже учат:
- Судья без контекста. В первом прогоне судья не видел статей и любую конкретику считал выдумкой. Он «наказал» самые точные ответы: с цифрами и названиями из моих же статей. Проверяющему тоже нужен контекст, иначе оценка шумит сильнее, чем сам помощник.
- Порог «2 из 3». Ответ засчитывался, если прозвучали две мысли из трёх. Только 2/3 — это 0,666, а порог стоял 0,67. Два хороших ответа помечались как проваленные, пока я не посмотрела руками.
- Ключ. В первый раз я вставила в настройки не ключ API, а его название. Мелочь, но весь запуск встал, пока мы не нашли причину.
Сколько это стоит
Сам RAG ничего не стоит: поиск идёт внутри моей базы, как обычный запрос к таблице. Платно только обращение к модели. Платишь за токены: за всё, что отправила модели, и за всё, что она написала. Писать дороже, чем читать.
RAG экономит именно на входе. Вместо 120 тысяч токенов на каждый вопрос — около двух тысяч. У базы есть кэш: повторное чтение одного и того же блога стоит заметно дешевле. Но кэш живёт несколько минут, и на сайте, где вопросы приходят редко, он будет остывать.
Мой вывод: пока статей мало, «весь блог в контексте» — нормальный и даже лучший вариант. RAG нужен, когда материалов станет больше, чем влезает в запрос, или когда цена каждого ответа начнёт иметь значение.
Закрыт ли кирпичик
Во второй части я записала критерий: помощник отвечает со ссылками, а на вопрос не по теме честно говорит «не знаю». По этому критерию — да. Но шаг «выпустить» ещё не сделан: помощник пока живёт в тестовой функции, а не на сайте.
Поэтому честный статус — «частично». Дальше по плану:
- добавить поиск по смыслу и сравнить с поиском по словам на тех же 11 вопросах;
- убрать из нарезки мусорные куски вроде оглавлений;
- выпустить помощника на сайт и посмотреть, что спрашивают живые люди.
Как повторить у себя
- Возьмите свои материалы: статьи, заметки, базу знаний команды.
- Начните с вопросов, а не с кода. Десять живых вопросов, ответы на них и две-три ловушки.
- Сначала проверьте самый простой вариант: всё в контексте. Возможно, этого хватит.
- Если не хватает, режьте материалы по смысловым разделам и ищите куски по вопросу.
- Проверяйте ответы автоматически, но давайте проверяющему тот же контекст, что и помощнику.
Это третья часть серии. Первая — разбор 90-дневной программы ИИ-инженера, вторая — как я докучиваю недостающие кирпичики. Все материалы о роли собраны в статье «Кто такой Product Builder».
Больше разборов про продукты и ИИ — в моём Telegram-канале: t.me/jd_tools_life.
А если хотите разбираться не в одиночку, приходите в сообщество «Продуктовые разборы». Расскажите, на каких материалах вы бы собрали своего помощника.
Частые вопросы
Что такое RAG простыми словами?
Это способ отвечать на вопросы по своим материалам: сначала система находит несколько подходящих кусков текста, затем модель отвечает только по ним и ставит ссылки на источники.
Чем RAG отличается от обучения модели на своих данных?
При обучении знания встраиваются в саму модель, это долго и дорого, а обновить их непросто. В RAG модель не меняется: нужные материалы подкладываются в каждый запрос, и новая статья доступна помощнику сразу после публикации.
Нужен ли RAG, если все материалы помещаются в контекст?
Не всегда. На 46 статьях вариант «весь блог в запросе» ответил полнее. RAG нужен, когда материалов больше, чем влезает в запрос, или когда важна цена и скорость каждого ответа.
Можно ли сделать RAG без программирования?
Да, если собирать вместе с ИИ-агентом вроде Claude Code. Но понимать устройство всё равно придётся: иначе, когда помощник начнёт ошибаться, вы не поймёте, виноват поиск, нарезка или модель.
Что лучше: поиск по словам или эмбеддинги?
Поиск по словам простой, бесплатный и хорошо находит нужную статью. Эмбеддинги лучше понимают смысл, когда вопрос сформулирован другими словами. Часто их совмещают.
Как понять, что RAG работает хорошо?
Заранее составить набор вопросов с правильными ответами и ловушками и прогонять его после каждого изменения. Без этого любая оценка — ощущение.