RAG или дообучение для доменных знаний: замеры по шести критериям

Регламенты обновляются ежемесячно, и в контуре на 12 000 чанков каждая правка запускала цикл дообучения заново, а 75% токенов уходило на повторную передачу тех же документов. Для фактов, которые меняются, берут RAG (retrieval-augmented generation): он передаёт модели найденные фрагменты и обновляет индекс за минуты. Для стиля и формата ответа, которые держатся месяцами, держат дообучение (fine-tuning): оно обновляет веса модели на доменных парах «вопрос — ответ». Замеры RAG и дообучения по шести критериям — свежесть, длина контекста, цена обновления, точность на терминах, расходы и приватность — ниже.

Контекст

Доменные знания и стиль ответа меняются с разной скоростью, поэтому их разводят по разным механизмам. Регламент обновляется, а тон ответа держится месяцами. Когда обе задачи закрывают одним дообучением, каждая правка документа запускает новый цикл обучения. Когда обе задачи закрывают одним retrieval, модель копирует стиль из найденных фрагментов и повторяет их формулировки. В проекте поддержки на базе 12 000 чанков до 75% токенов уходило на повторную передачу одних и тех же регламентов, и этот расход снимает семантический кэш. В нашем контуре ежемесячно менялось около 8% документов, и при такой частоте цикл дообучения шёл почти непрерывно, а инкрементальная переиндексация укладывалась в один день. Механику повторной передачи контекста мы разбирали в разборе про детерминированный RAG.

Как снимали замеры

Все числа — из нашего контура на базе 12 000 чанков: регламенты, договоры и история обращений на русском и английском. Оценку вели на размеченной выборке из 1 500 вопросов, у каждого — эталонный ответ и ссылка на документ. Дообучение проверяли на адаптере LoRA ранга 16, три эпохи, 8 000 доменных пар. Числа снимали в феврале 2027 года на одной A100 и на внешнем inference-API. Субвыборки в таблице и в границах — части этой оценки. Разметку делали два инженера независимо, расхождения снимали третьим проходом, доля совпавших меток — 94%. У каждого вопроса один эталонный документ, поэтому многошаговые вопросы собраны в отдельную субвыборку и в общую точность вошли отдельной строкой. Такой дизайн завышает балл на простых вопросах, и в границах это видно.

Механизм: шесть критериев

Критерии проверяют по порядку. Первые три описывают знание, последние три — эксплуатацию. В таблице — значения на нашем контуре и условия, при которых их снимали. Порядок задаёт и спор: когда свежесть и точность разведены, выбор переходит в скорость изменений, а инструменты вторичны.

Критерий	RAG	Дообучение	Условие замера
Свежесть знаний	новая редакция в индексе за минуты	новая редакция требует цикла обучения	база 12 000 чанков
Длина контекста	3–4 фрагмента на запрос	знание сжато в весах	выборка 300 вопросов
Цена обновления	инкрементальная переиндексация	повторный цикл или новый адаптер	1 200 изменённых чанков
Точность на терминах	высокая на длинных формулировках	высокая на закрытом словаре	600 вопросов
Операционные расходы	векторная СУБД, индексатор, кэш, трассировка	обучающий конвейер и GPU	контур проекта
Приватность данных	документы в контуре, вызов уходит наружу	знание остаётся в весах после обучения	приватный контур

Свежесть знаний

RAG обновляется за минуты: переиндексация 1 200 изменённых чанков на базе 12 000 занимала 6 минут, эмбеддинг обошёлся в 2,4 млн токенов. Дообучение обновляет знание циклом: адаптер LoRA на 8 000 доменных примерах учился 3 часа на одной A100, полный цикл с оценкой на выдержанной выборке — до 14 часов. Каждая новая редакция регламента запускала цикл заново. Разница в том, что RAG трогает изменённые чанки, а цикл дообучения идёт по всему корпусу, даже когда переписана одна страница.

Длина контекста

RAG отдаёт модели 3–4 фрагмента, и окно растёт вместе с числом фрагментов. На выборке 300 вопросов по регламентам доля верных извлечений падала с 92% при четырёх фрагментах до 61% при двадцати. Дообучение сжимает знание в веса, поэтому окно запроса остаётся коротким. Прослеживаемость при этом теряется: подтверждающий фрагмент в ответе отсутствует. Практический вывод: окно фиксируют на 3–4 фрагментах, остальное отсекает поиск, потому что лишний текст снижает точность сильнее, чем добавляет знание.

Цена обновления

У RAG платят за изменение: инкрементальная переиндексация трогает изменённые чанки, полный пересчёт нужен редко. У дообучения платят за каждый цикл: 3 часа GPU плюс время на переразметку и оценку. На потоке правок чаще раза в неделю цену задаёт замер: метрика — часы GPU на цикл, метод — прогон на вашем потоке правок. Сравнение считают по числу правок в месяц: до 20 правок инкрементальная переиндексация дешевле, дальше разрыв растёт в её пользу.

Точность на терминах

На закрытом словаре дообучение держит терминологию точно. На 600 вопросах по словарю из 90 аббревиатур дообученная модель дала 94% верных форм. RAG дал 88%: редкий идентификатор не попадал в top-4 найденных чанков. Гибридный поиск с точными токенами поднял долю до 91%. Разрыв в 6 пунктов держится на редких идентификаторах; на длинных формулировках разница сужается до 2 пунктов, и там выигрывает retrieval.

Операционные расходы

RAG добавляет в контур четыре сервиса: индексатор, векторную СУБД, семантический кэш и трассировку. Дообучение добавляет обучающий конвейер и GPU. Первый контур собирается за месяц индексации и чистки данных, второй — за цикл разметки. Обе суммы платят до первых ответов, поэтому их сравнивают до старта. На стороне RAG чистка данных занимала три недели из месяца настройки, остальное ушло на сборку поиска и кэша.

Приватность данных

RAG держит документы внутри контура, а наружу уходит вызов инференса. Дообучение оставляет знание в весах, а цикл обучения может идти у внешнего провайдера. Периметр закрывают в обоих случаях: модель разворачивают внутри, и тогда данные остаются на своих серверах. Журнал трассировки показывает, какой фрагмент ушёл наружу, поэтому периметр проверяют по логам. Развёртывание суверенных моделей.

Где RAG теряет

У retrieval три воспроизводимые ошибки, и каждая видна на выборке.

• Точные идентификаторы. На 1 200 запросов с артикулами векторный поиск пропустил 9% идентификаторов: нужный чанк не попал в top-4. Гибридный поиск с точными токенами снизил пропуски до 3%. Ошибка редкая, но дорогая: пользователь получает ответ по соседнему артикулу.
• Сборка из нескольких документов. На 180 вопросах, где ответ требует трёх и более документов, точность составила 54%. Цепочка обрывается на первом пропущенном фрагменте. Разбиение вопроса на подзапросы подняло точность до 78% на 40 тестовых цепочках.
• Границы чанков. На 90 вопросах с условиями договора 12% ответов ссылались на фрагмент без самого условия: разрез прошёл по середине условия.

Где дообучение теряет

У дообучения четыре границы, и они проявляются после каждого обновления корпуса.

• Устаревание. После смены регламента модель, обученная на прежнем корпусе, отвечала по старым правилам в 46% из 200 проверочных вопросов. Пока не прошёл новый цикл, старый факт выдавался как действующий. Окно устаревания измерялось сутками даже при трёхчасовом цикле.
• Прослеживаемость. На 200 вопросов доля ответов со ссылкой на подтверждающий фрагмент — 0%. Формулировку нельзя открыть и сверить с источником.
• Забывание. После дообучения на 8 000 доменных примерах точность на 150 общих вопросах упала на 8 пунктов. Условия — три эпохи, ранг LoRA 16.
• Цена правки. Каждая правка корпуса запускает новый цикл: 3 часа GPU и повторную оценку. Поток правок чаще раза в неделю делает цикл постоянным.

Итог

Разводите знание и стиль по скорости изменений. Факты, которые обновляются, держите в RAG: инкрементальная переиндексация обходится в минуты. Стиль и формат, которые стабильны, держите в дообучении: на закрытом словаре оно даёт точность выше на 3–6 пунктов. На точных идентификаторах гибридный поиск возвращает пропуски к 3%, поэтому retrieval закрывается им по умолчанию. В связке дообучение задаёт форму ответа, а RAG поставляет фрагменты и ссылки. Стоимость владения считают по числу правок в месяц и числу языков: каждый язык умножает и корпус, и цикл оценки. Контур retrieval с гибридным поиском и семантическим кэшем собирают под вашу базу: Детерминированный RAG.