RAG или fine-tuning: что выбрать для базы знаний
Если помощник должен отвечать по меняющимся документам, начните с проверки поиска и источников. Если проблема в устойчивом формате или поведении ответа, проверьте инструкции, а затем - дообучение. RAG и fine-tuning могут работать вместе; выбор зависит от того, какую ошибку нужно исправить.
5 мин чтения
Как отличаются подходы
RAG добавляет найденные фрагменты источников в контекст ответа. В исходной работе Lewis и соавторов описана генерация с доступом к внешнему поисковому индексу. Для корпоративного помощника это означает отдельную работу с документами, поиском и проверкой того, на чём основан ответ.
Fine-tuning адаптирует модель на обучающих примерах через изменение обучаемых параметров. Полное дообучение и методы адаптации вроде LoRA отличаются устройством и затратами. LoRA обучает дополнительные матрицы при замороженных исходных весах. Само обучение не создаёт ссылку на действующий документ и не заменяет проверку прав доступа.
Это не взаимоисключающие варианты. Можно использовать адаптированную модель с поиском по источникам. Но сначала стоит проверить простой вариант с инструкциями: если он выполняет требования, дополнительное обучение может не понадобиться.
Выбирайте по причине ошибки
Сначала посмотрите, где ломается конкретный ответ. Если нужный документ не найден, обучение модели не исправляет сам поиск. Если источник найден, но ответ нарушает нужный формат, работа с индексом может не решить проблему поведения. Отдельная диагностика снижает риск потратить время на неверный компонент.
| Потребность | Что проверить в RAG | Когда проверять fine-tuning |
|---|---|---|
| Свежие внутренние сведения | Действующая версия попадает в контекст | Если остаётся измеримая проблема поведения на найденном контексте |
| Ссылка на основание ответа | Цитата соответствует найденному источнику | Для улучшения работы с контекстом, при сохранении проверки ссылок |
| Устойчивый формат | Достаточны ли инструкции и проверка структуры | Есть хорошие примеры и отдельный набор для проверки |
| Разные права доступа | Поиск ограничен разрешёнными документами | Обучение не является механизмом авторизации |
| Термины и правила ответа | Термины объяснены в источниках или инструкциях | Повторяется ошибка, которую можно проверить на новых примерах |
Проверьте обновления на простом примере
Условный пример, не клиентский кейс: в инструкции для обращений изменился ответственный отдел. Сохраните старую и новую версии, задайте вопрос после обновления и проверьте, что помощник использует новую. Отдельно проверьте вопрос, для которого в инструкции нет ответа.
Обновить файл недостаточно. Проверьте загрузку, индекс, кэш и фактический контекст ответа. Старый фрагмент не должен незаметно вернуться в ответ из другого источника. При удалении документа нужна отдельная проверка его отсутствия в выдаче.
Дообучение не снимает эту задачу: система всё равно должна различать действующие и устаревшие сведения. Если в обучение попали закрытые данные, нельзя считать их защищёнными только потому, что поиск ограничен правами пользователя. План доступа должен учитывать и обучающие данные.
Сравните варианты на одном наборе
Подготовьте вопросы и допустимые ответы до настройки системы. Включите обновлённые документы, отсутствие ответа, противоречивые версии и ограничения доступа. Сначала запишите результат базовой модели с инструкциями, затем сравните варианты на том же отдельном наборе.
Отдельно измеряйте попадание нужного источника в контекст и качество ответа по этому контексту. Проверяйте ссылки вручную на выбранных примерах: наличие ссылки ещё не означает, что источник подтверждает сказанное.
Добавьте задержку, стоимость принятого ответа и трудоёмкость обновления. Для дообучения учитывайте подготовку примеров и повторную проверку после обучения; для RAG - обработку источников и поддержку поиска. Если качество не прошло приёмку, более низкая цена не делает вариант пригодным.
| Сценарий | Ожидаемый исход | Проверяемое свидетельство |
|---|---|---|
| Вопрос по действующему документу | Ответ из актуальной версии | Версия, фрагмент и соответствие ответа |
| Факта нет | Указанное ограничение или передача человеку | Нет выдуманного факта или источника |
| Документ закрыт | Доступные данные не раскрывают закрытое содержимое | Выдача поиска, контекст и итоговый ответ |
| Требуется заданный формат | Ответ соответствует схеме и содержанию | Проверка схемы и смысловых полей |
Какие выводы можно перенести в проект
Исследование Soudani и соавторов сравнивает RAG и fine-tuning на вопросах о менее популярных фактах и показывает преимущество RAG в условиях их эксперимента. Это полезное основание для проверки поиска, но не готовый прогноз для ваших документов или расходов.
Матрица выше - предлагаемая последовательность инженерной проверки. Для оценки проекта нужны примеры документов и вопросов, частота изменений, требования к источникам и правила доступа. Если они известны, можно обсудить архитектуру и границы пилота.