Разметка данных для ИИ

Размечаем датасеты для обучения и оценки моделей: пишем guidelines и таксономию, размечаем четыре модальности, сводим ответы аннотаторов через консенсус и сдаём QA-отчёт по каждому классу.

Готовим размеченные тексты, изображения, аудио и видео с согласованными правилами и двумя проходами проверки.

Стоимость

от 300 000 ₽

за проект

Это нижняя граница проекта. Точную смету считаем после брифа: она зависит от объёма и числа интеграций.

Что входит

Возможности

Guidelines и таксономия

Собираем дерево классов, определения и пограничные примеры. Guidelines фиксируют, что считать меткой, и снижают разброс между аннотаторами.

Четыре модальности

Текст, изображения, аудио и видео идут в одном конвейере: у каждой модальности свой инструмент, общие правила приёмки и журнал решений.

QA и консенсус

Каждый десятый элемент проходит второй проход. Расхождения сводим к консенсусу, а согласие считаем по каждому классу и храним в отчёте.

RLHF и пары предпочтений

Собираем пары ответов для RLHF: аннотатор выбирает лучший вариант по рубрике, спорные пары уходят на арбитраж эксперта.

Как мы работаем

От заявки до результата

  1. 1

    Аудит таксономии

    Смотрим текущие классы, примеры и спорные случаи. Проверяем, что каждый класс имеет определение и наблюдаемый признак.

  2. 2

    Guidelines и пилотная партия

    Пишем инструкцию с примерами и размечаем пилот на 200–500 элементах. Считаем согласие и правим неоднозначные места до старта потока.

  3. 3

    Конвейер разметки

    Настраиваем очереди, роли и приёмку. Партии идут по расписанию, прогресс виден в дашборде, а каждая метка хранит автора и версию.

  4. 4

    QA и передача

    Прогоняем выборку по двум проходам, сводим расхождения и собираем отчёт. Датасет отдаём в согласованном формате вместе с guidelines.

Кому подходит

Проверьте, подойдёт ли вам

Подходит

  • + 10 000 элементов

    Объём от 10 000 элементов окупает guidelines и настройку конвейера: партии идут потоком, а качество держится на выборке.

  • Есть доменный эксперт

    Эксперт задаёт эталон разметки: его решения используют остальные аннотаторы и QA.

Не подходит

  • Нет таксономии

    Без дерева классов и определений разметка расползается: сначала нужен аудит и guidelines, затем партии.

  • PII без политики

    Персональные данные требуют политики хранения и обезличивания: до её согласования партии с PII стоят на паузе.

Практика

Что вы получаете

10 000

10 000 элементов в базе

Базовая партия покрывает 10 000 элементов и даёт достаточно примеров для обучения и замера на отложенной выборке.

текст

Текст как базовая модальность

Текстовая модальность идёт первой: на тексте приёмка занимает один проход QA, а шаблон таксономии переносится на изображения, аудио и видео.

2

Два прохода QA

Два прохода QA дают согласие по каждому классу и показывают, какие определения стоит уточнить до масштабирования.

Состав работы

Что входит в поставку

Guidelines и таксономия

Отдаём таксономию, определения классов, пограничные примеры и рубрику приёмки. Документ фиксирует версию и задаёт эталон для аннотаторов.

Размеченная пилотная партия

Передаём 200–500 элементов с метками, версиями и журналом решений. Пилотная партия показывает согласие на реальных данных до масштабирования.

QA-отчёт

Собираем отчёт по согласию, расхождениям и покрытию классов. QA-отчёт показывает, где правила работают, и какие классы требуют доработки.

Как устроено

Механизм работы

  1. Приёмка данных

    Принимаем файлы партиями, проверяем формат и полноту, раскладываем по очередям и фиксируем владельца каждой партии. На входе отсекаем битые файлы и дубли, поэтому аннотатор получает чистый набор.

  2. Разметка

    Аннотаторы ведут разметку по guidelines и рубрике, оставляют комментарий к спорному случаю и передают элемент на второй проход. Каждая метка хранит автора, время и версию инструкции, поэтому историю решения можно восстановить.

  3. QA и консенсус

    Второй аннотатор проверяет выборку, расхождения уходят на арбитраж эксперта, а итоговая метка фиксируется через консенсус. Метрику согласия считаем по каждому классу и возвращаем спорные определения в guidelines.

Ограничения и цена

Где решение упирается

  • 01

    Качество guidelines

    Качество guidelines задаёт разброс меток: точные определения и примеры поднимают согласие и сокращают правки на приёмке.

  • 02

    Доступность эксперта

    Доступность эксперта задаёт скорость арбитража: пограничные случаи ждут его решения, поэтому график эксперта входит в план партий.

  • 03

    Политика PII

    Политика PII определяет схему работы: обезличивание и хранение согласуем до старта, и это добавляет этап в подготовку партии.

Стек

Технологии

Технологии, которые мы используем в работе, и их роль в проекте.

Конвейер разметки

Скрипты валидации и метрик пишем на Python, задачи и статусы храним в PostgreSQL, файлы датасета лежат в MinIO, очередь заданий идёт через Kafka, а прогресс партий держим в Redis.

Пишем валидацию, подсчёт согласия и экспорт датасета: скрипты проверяют схему и ловят битые файлы до сдачи.Хранит задачи, статусы и историю правок: по журналу видно, кто и когда изменил метку, и считается согласие.Хранит изображения, аудио и видео рядом с разметкой: датасет остаётся воспроизводимым, а доступ идёт по подписанным ссылкам.Передаёт задания между очередями аннотаторов и сервисом качества: при пиковой нагрузке буфер держит темп партий.Кэширует прогресс и блокировки задач: аннотатор видит актуальный статус, а повторная выдача одного элемента исключена.
Оценка бюджета

Калькулятор стоимости

Это ориентировочный диапазон, а не коммерческое предложение. Точную смету подготовим после брифа: она зависит от объёма и числа интеграций.

Объектов разметки

10000

Модальность

Уровень качества

Гайдлайны

Дополнительно

Поддержка

Первый год: обновления и мониторинг, ответ за 2 рабочих дня.

Услуга

Разметка данных для ИИ

В смету входит работа команды. Оборудование, лицензии сторонних сервисов и командировки добавляем по согласованию.

Расчётная стоимость

400 000 ₽

Срок работ

2 нед.

Вопросы

Частые вопросы

Как вы контролируете качество разметки?

Каждый десятый элемент проходит второй проход, расхождения сводим к консенсусу, а согласие считаем по классам. Порог приёмки фиксируем в guidelines до старта партии.

Можно ли размечать под NDA и на своём контуре?

Да. Подписываем NDA, работаем в вашем облаке или на on-prem контуре, доступ к файлам идёт по ролям, а журнал действий хранится у вас.

Какие модальности вы размечаете?

Текст, изображения, аудио и видео. У каждой модальности свой инструмент и свои правила приёмки, общими остаются таксономия и QA.

Сколько занимает пилот?

Пилот идёт 1–2 недели: аудит таксономии, guidelines и партия 200–500 элементов с замером согласия. После пилота называем срок на полный объём.

Готовы обсудить задачу?

Оставьте заявку – вернёмся с предложением и предварительной оценкой.

Связаться с нами