Login AI
Оценка качества и red teaming LLM
Собираем golden set из ваших задач, гоняем модель через eval harness и держим метрики под контролем в Langfuse. Вы видите долю галлюцинаций, верность источникам и регрессии между версиями до релиза.
Считаем точность, верность источникам и устойчивость модели на ваших задачах.
Стоимость
от 400 000 ₽
за проект
Это нижняя граница проекта. Точную смету считаем после брифа: она зависит от объёма и числа интеграций.
Возможности
Golden set на ваших задачах
Собираем 150–300 эталонных примеров с ответом и источником: набор отражает реальные формулировки, длину и краевые случаи домена.
Галлюцинации и верность источникам
Размечаем ответы по фактам и опоре на контекст: метрика faithfulness показывает долю утверждений, подтверждённых источником, а hallucination rate считает выдуманные детали.
Red teaming
Проверяем модель на 200–400 состязательных промптах: инъекции, обход системной инструкции, утечка контекста и вредные запросы. Каждый сценарий получает вердикт и приоритет.
Наблюдаемость и регрессии
Каждый вызов пишется в Langfuse с промптом, контекстом, ценой и оценкой. Ночной прогон сравнивает новую версию с базовой и блокирует релиз при падении метрик ниже порога.
От заявки до результата
1
Аудит задач и метрик
Разбираем задачи модели, источники контекста и текущие проверки. Фиксируем 4–6 метрик, пороги и ваше релизное решение.
2
Сборка golden set
Доменный эксперт размечает 150–300 примеров: вопрос, эталонный ответ, обязательные факты и допустимые формулировки. Набор хранится в репозитории с версиями.
3
Eval harness
Пишем на Python стенд: вызов модели, судья по рубрике, подсчёт метрик и отчёт. Прогон на 300 примеров занимает 20–40 минут на 4 воркерах.
4
Регрессии и наблюдаемость
Подключаем Langfuse к продакшену, сравниваем каждую версию с базовой и ставим порог для релиза. Отчёт по метрикам приходит после каждого прогона.
Проверьте, подойдёт ли вам
Подходит
Есть рабочая версия
У вас есть рабочая версия ассистента на реальных задачах. Команда готовит релиз и хочет измерить качество на расширенной выборке.
Есть доменный эксперт
Эксперт может разметить 150–300 примеров и подтвердить эталонные ответы: его разметка задаёт планку для судьи.
Не подходит
Нет golden set
Без эталонного набора оценка опирается на мнение команды, а сравнение версий теряет опору. Начните с аудита задач.
Разовый тест без регрессии
Один прогон перед релизом показывает срез, а следующая версия снова требует ручной проверки. Нужен повторяемый контур.
Что вы получаете
2
Модели в базе
Базовый контур покрывает две модели: текущую и кандидата на релиз. Обе проходят один golden set и сравниваются по одинаковым метрикам.
3
Тестовых набора
Три набора закрывают основные сценарии: извлечение данных, диалог с клиентом и работу с длинным контекстом. Каждый набор хранится отдельно с версией.
Red teaming
Red teaming как слой
Red teaming подключается отдельным слоем к базовому контуру. Он добавляет 200–400 состязательных промптов и отчёт по устойчивости к инъекциям и утечкам.
Что входит в поставку
Golden set
Набор golden set содержит 150–300 размеченных примеров с эталонными ответами, обязательными фактами и версией в репозитории.
Eval harness
Eval harness на Python запускает модель, судью и подсчёт метрик по расписанию, пишет результаты в PostgreSQL и отправляет отчёт.
Отчёт по качеству
Отчёт показывает метрики по каждой задаче, динамику между версиями и список приоритетных правок для следующего релиза.
Механизм работы
Golden set
Golden set задаёт общую точку отсчёта: каждый прогон идёт на одних и тех же 150–300 примерах, поэтому метрики новой версии сравнимы с базовой и показывают реальный сдвиг.
Судья и метрики
Судья-модель оценивает ответ по рубрике с якорями, а скрипт складывает оценки в faithfulness, hallucination rate и полноту. Рубрика фиксирует критерии, и каждый прогон даёт одинаковый подсчёт.
Регрессии и наблюдаемость
Регрессии идут ночным прогоном: он сравнивает новую версию с базовой и публикует отчёт с дельтой по каждой метрике. Наблюдаемость в Langfuse хранит трассы продакшена, поэтому падение качества видно на реальном трафике.
Где решение упирается
- 01
Стоимость golden set
Golden set требует времени эксперта: 150–300 примеров с разметкой занимают 7–10 дней. Вложения возвращаются повторяемыми прогонами.
- 02
Границы судьи-модели
Судья-модель ошибается на тонких формулировках, поэтому рубрика задаёт якоря и примеры. Выборка из 30–50 ответов уходит на ручную проверку.
- 03
Дисциплина регрессий
Регрессии работают, когда каждый прогон идёт на одной версии golden set и одном наборе параметров. Версии набора фиксируются в PostgreSQL вместе с результатом.
Технологии
Технологии, которые мы используем в работе, и их роль в проекте.
Стенд оценки и наблюдаемость
Стенд собираем на Python, трассы и оценки храним в Langfuse, эталонные примеры и результаты прогонов лежат в PostgreSQL, поток заданий идёт через Kafka, а запуск воркеров держим в Kubernetes.
Калькулятор стоимости
Это ориентировочный диапазон, а не коммерческое предложение. Точную смету подготовим после брифа: она зависит от объёма и числа интеграций.
Модели
Наборы тестов
Red teaming
Наблюдаемость
Дополнительно
Поддержка
Первый год: обновления и мониторинг, ответ за 2 рабочих дня.
Услуга
Оценка качества и red teaming LLM
В смету входит работа команды. Оборудование, лицензии сторонних сервисов и командировки добавляем по согласованию.
Расчётная стоимость
650 000 ₽
Срок работ
6 нед.
Частые вопросы
Какие метрики вы считаете?
Точность ответа, faithfulness, hallucination rate, полноту, следование инструкции и устойчивость к инъекциям. Состав зависит от задачи: для извлечения данных добавляем exact match и F1, для диалога добавляем оценку по рубрике.
Как вы строите golden set?
Берём реальные обращения из логов и краевые случаи, которые назвал эксперт. Каждый пример получает эталонный ответ и список обязательных фактов, после чего набор проходит двойную разметку.
Что входит в red teaming?
200–400 состязательных промптов: инъекции в контекст, попытки сменить роль, утечка системной инструкции, вредные и запрещённые темы. Каждый сценарий получает вердикт, приоритет и рекомендацию по правке.
Сколько занимает проект?
3–4 недели на базовый контур: аудит и метрики за 3 дня, golden set за 7–10 дней, harness за неделю, регрессии и наблюдаемость за 5 дней. Red teaming добавляет 1–2 недели.
Что берут вместе с этой услугой
Связанные услуги
В составе решений
Примеры внедрений
−70 %
Время обработки обращения
Готовы обсудить задачу?
Оставьте заявку – вернёмся с предложением и предварительной оценкой.
Связаться с нами