Разработка систем обнаружения аномалий

Строим обнаружение аномалий в логах, транзакциях и телеметрии: находим отклонения без заранее описанных правил и объясняем, что именно изменилось.

Система ловит нетипичное поведение в потоке, включая сбои вне известного списка.

Стоимость

от 1 800 000 ₽

за проект

Это нижняя граница проекта. Точную смету считаем после брифа: она зависит от объёма и числа интеграций.

Что входит

Возможности

Без правил вручную

Система учит норму по истории и замечает отклонение, для которого правило ещё не написано.

Объяснение находки

К каждой аномалии прикладывается, какой признак и насколько вышел за норму.

Меньше ложных тревог

Порог и сезонность настраиваются так, чтобы ночные пики не будили дежурного.

Оповещение в канал

Тревога уходит в дежурный канал с контекстом и ссылкой на сырые данные.

Как мы работаем

От заявки до результата

  1. 1

    Аудит потока

    Смотрим, какие события есть и с какой частотой: по редкому потоку норму не построить.

  2. 2

    Схема признаков и нормы

    Фиксируем признаки, окно и сезонность, договариваемся о допустимой доле ложных тревог.

  3. 3

    Обучение и пороги

    Обучаем модель нормы и настраиваем порог по разбору пилотных срабатываний.

  4. 4

    Дежурство и разбор

    Подключаем тревоги к дежурному каналу и заводим разбор: ложные срабатывания уточняют порог.

Кому подходит

Проверьте, подойдёт ли вам

Подходит

  • Регулярный поток событий

    Логи, транзакции или телеметрия идут постоянно: норма строится по достаточному объёму.

  • Есть история для нормы

    Записан хотя бы один полный период, включая сезонные пики.

Не подходит

  • Нужно детерминированное правило

    Если решение обязано быть объяснимо как правило, статистическая модель не подойдёт.

  • Нет владельца тревог

    Без дежурного система превращается в шум, который вскоре игнорируют.

Практика

Что вы получаете

3×

меньше ложных тревог после настройки

Система отмечала нетипичные операции по отклонению признаков, ложные срабатывания падали по мере настройки.

Состав работы

Что входит в поставку

Аудит данных и нормы

Аудит данных и нормы показывает, какую норму считать базовой и какие признаки объединять в оценку.

Модель и порог

Обучаем модель на истории и подбираем порог на пилоте: границу настраиваем так, чтобы ложные срабатывания оставались редкими.

Интеграция алертов

Интеграция алертов отдаёт события в вашу шину или мессенджер с признаком отклонения, чтобы дежурный разбирал их на месте.

Пилот с разбором

Первые недели разбираем срабатывания вместе с вашим дежурным и уточняем границу, чтобы система вошла в рабочий процесс.

Как устроено

Механизм работы

  1. Норма строится по истории

    Норма строится по истории: сезонность, рабочие часы и праздники учитываются в модели. Поэтому ночной пик попадает в привычный диапазон, и дежурный получает сигнал только на настоящем отклонении от нормы.

  2. Признаки объединяются

    Признаки объединяются в одну оценку: сумма операции, новое устройство и активность клиента складываются вместе. Простая операция проходит спокойно, а тревогу поднимает сочетание признаков, которое выходит за привычную норму.

  3. Каждая находка объясняется

    Каждая находка объясняется: видно, какой признак вышел за границу и насколько. К аномалии прикладывается контекст, поэтому дежурный быстро понимает причину и решает, что делать дальше.

  4. Оповещение содержит сырые данные

    Оповещение содержит сырые данные: дежурный разбирает событие на месте и сразу видит признак отклонения. Сырые данные приходят вместе с событием, поэтому реакция занимает меньше времени.

Ограничения и цена

Где решение упирается

  • 01

    Порог под новое поведение

    Новые легитимные модели поведения сначала выглядят аномально, поэтому порог приходится приглушать. Порог возвращается к рабочему уровню, когда норма обновится по новым данным.

  • 02

    Холодный старт

    Холодный старт требует периода наблюдения или ручной разметки, поэтому первые недели система набирает историю. Холодный старт — цена точной нормы.

  • 03

    Маскировка под норму

    Обнаружение ловит отклонения, поэтому целенаправленная маскировка под норму проходит мимо. Такие атаки ищут другими методами, отдельно от статистики.

  • 04

    Модель требует обслуживания

    Смена бизнеса или масштаба сдвигает норму, и её нужно пересчитывать. Модель требует обслуживания: норму пересматривают по расписанию и после крупных изменений.

Стек

Технологии

Технологии, которые мы используем в работе, и их роль в проекте.

Поток и модели

Поток событий идёт через Kafka, агрегаты считаются в ClickHouse, модели обучаются на PyTorch, оповещения шлёт Grafana, а правила хранятся в PostgreSQL.

Шина событий: поток логов и транзакций доходит до детектора без потери порядка.Считает агрегаты по признакам за окно: по ним строится норма и считается отклонение.Обучение моделей нормы: автоэнкодеры и последовательностные модели ловят сложные отклонения.Дашборд и оповещения: тревога приходит в дежурный канал с графиком и контекстом.Хранит пороги, историю тревог и разборы: по ним видно, какие срабатывания оказались ложными.
Оценка бюджета

Калькулятор стоимости

Это ориентировочный диапазон, а не коммерческое предложение. Точную смету подготовим после брифа: она зависит от объёма и числа интеграций.

Потоки и метрики

10

Сложность

Потоковая детекция

Дополнительно

Поддержка

Первый год: обновления и мониторинг, ответ за 2 рабочих дня.

Услуга

Разработка систем обнаружения аномалий

В смету входит работа команды. Оборудование, лицензии сторонних сервисов и командировки добавляем по согласованию.

Расчётная стоимость

2,2 млн. ₽

Срок работ

5 нед.

Вопросы

Частые вопросы

Чем это лучше пороговых правил?

Правила описывают известные сбои. Модель ловит отклонение от нормы, для которого правило ещё не сформулировано.

Насколько объяснимы находки?

К каждой аномалии прикладывается признак и величина отклонения. Полной причины модель не даёт, но указывает, куда смотреть.

Что с ложными срабатываниями?

Порог настраивается на пилоте: первые недели разбираем срабатывания вместе с дежурным и уточняем границу.

Можно ли поймать целенаправленную атаку?

Обнаружение ловит отклонения, а не маскировку. Атаку, похожую на норму, нужно искать другими методами.

Сколько нужно истории для старта?

Для нормы нужен период наблюдения, обычно несколько недель, чтобы учесть сезонность и рабочие часы. Если истории нет, начинаем с ручной разметки и постепенно переводим границу на модель.

Как встроить в текущий мониторинг?

Отдаём алерты в вашу шину или мессенджер через вебхук, чтобы дежурный работал в привычном инструменте. Событие приходит с признаком отклонения и сырыми данными для разбора.

Что делать с найденной аномалией?

Дежурный разбирает событие по приложенным данным: видно, какой признак вышел за границу и насколько. Обратную связь по разбору возвращаем в модель, чтобы уточнить порог.

Что если срабатываний слишком много?

Порог поднимаем по разбору: если поток алертов выше, чем команда успевает обрабатывать, граница становится строже. Часть находок уходит в дайджест, а не в срочный канал.

Готовы обсудить задачу?

Оставьте заявку – вернёмся с предложением и предварительной оценкой.

Связаться с нами