Как проверить качество RAG перед запуском
Проверяйте RAG на вопросах, которые люди уже задают вашим документам. Для каждого вопроса заранее укажите правильный источник, допустимый ответ и случаи, когда система должна отказаться. Затем измерьте поиск и ответ отдельно. Так видно, что исправлять: данные, поиск или модель.
7 мин чтения
Какие вопросы взять для проверки?
Начните с обращений сотрудников или клиентов, а не с вопросов, которые удобно задать демо. Возьмите обычные и спорные случаи: запрос по действующему документу, по старой версии, по таблице, по закрытому разделу и вопрос, на который ответа в корпусе нет. У каждого вопроса должен быть владелец, который подтвердит правильный ответ.
- Формулировка вопроса и кто его задаёт.
- Документ и фрагмент, где лежит ответ, либо отметка «ответа нет».
- Версия документа и права доступа.
- Признаки ответа, который можно принять.
Как отдельно проверить поиск?
Сначала смотрите на документы, которые поиск передал модели. Есть ли среди них правильный фрагмент и разрешён ли он этому пользователю? Если нужного источника нет, переписывание промпта не поможет. Проверьте распознавание сканов, нарезку текста, метаданные, фильтры прав и свежесть индекса. Фиксируйте долю вопросов, где правильный источник найден в первых результатах.
Как проверить сам ответ?
Когда правильный источник найден, проверьте каждое существенное утверждение ответа по нему. Отдельно отметьте пропуски, неверные цитаты и уверенные ответы там, где данных нет. Полезно записывать не только оценку «верно» или «неверно», но и тип ошибки: тогда следующий прогон покажет, ушла ли проблема после изменения модели или промпта.
Какие случаи блокируют запуск?
Правила приёмки задают до теста вместе с владельцем процесса. В чувствительном сценарии ответ по чужому закрытому документу или выдуманное основание могут блокировать запуск независимо от средней оценки. Для менее рискованных вопросов допустимую долю ошибок определяют отдельно. Один общий процент качества скрывает разницу между опечаткой и утечкой.
Что делать после первого успешного прогона?
Сохраните вопросы, ожидаемые источники и результаты как набор повторных проверок. Прогоняйте его после изменения документов, индекса, модели или правил доступа. В работе собирайте новые ошибки и добавляйте их в набор. Качество RAG зависит от живого корпуса, поэтому проверка перед релизом нужна вместе с наблюдением после него.