Login AI
Оптимизация ИИ-инфраструктуры и стоимости токенов
Разбираем нагрузку LLM по шагам, находим повторные и избыточные вызовы, ставим кэш, батчинг и маршрутизацию моделей. Счёт за инференс падает, качество не меняется.
Считаем, куда уходят токены, и срезаем счёт без потери качества ответов.
Стоимость
от 400 000 ₽
за проект
Это нижняя граница проекта. Точную смету считаем после брифа: она зависит от объёма и числа интеграций.
Возможности
Аудит по шагам
Разбираем цепочку запроса: где токены тратятся на полезный ответ, а где на повторную передачу контекста.
Семантический кэш
Повторные вопросы отвечают из памяти, а не через внешний вызов, с версией кэша под каждый документ.
Маршрутизация моделей
Простые фразы уходят в дешёвую модель, сложные запросы — в сильную, по правилам в коде.
Бюджет и алерты
Лимит на проект и оповещение при росте стоимости в тот же день, а не в счёте в конце месяца.
От заявки до результата
1
Снятие профиля
Собираем вызовы за период и раскладываем по шагам: входные токены, выходные, повторы и доля кэша.
2
План оптимизации
Фиксируем, где режем: кэш, батчинг, маршрутизация и сжатие промпта, с оценкой эффекта.
3
Внедрение
Ставим кэш и маршрутизацию, переводим часть вызовов на локальную модель, не ломая ответы.
4
Контроль бюджета
Включаем лимиты и алерты, сверяем счёт до и после, фиксируем экономию в цифрах.
Проверьте, подойдёт ли вам
Подходит
Есть логи вызовов
По ним видно расход по шагам; без логов сначала включаем трассировку.
Регулярная нагрузка
Повторяющиеся запросы кэшируются и маршрутизируются, эффект виден на второй неделе.
Не подходит
Разовый эксперимент
При десятках вызовов в месяц оптимизация не окупается.
Метрики не собираются
Если стоимость и задержка не измеряются, сначала ставим наблюдаемость.
Что вы получаете
−55%
счёта за токены
После кэша и маршрутизации внешние вызовы сократились, а качество ответов не изменилось.
Что входит в поставку
Разбор профиля вызовов
На выходе — таблица вызовов по шагам с токенами, повторами и долей кэша. По ней видно каждый источник расхода без ручного разбора логов.
Карта расходов
Считаем расход по каждой модели и промпту, чтобы видеть, какая часть счёта приносит пользу, а какая уходит на повторы.
План работ
Фиксируем, что меняем: кэш, батчинг, маршрутизацию и сжатие промпта. План задаёт порядок работ и ожидаемый эффект в деньгах.
Замер экономии
Сравниваем счёт до и после на одном наборе задач и показываем экономию в деньгах. Замер опирается на ваши вызовы и ваши тарифы.
Механизм работы
Профиль вызовов
Разбираем вызовы по шагам: входные и выходные токены, повторы и доля кэша. Профиль показывает, где именно уходит бюджет и на какой шаг приходится основная часть счёта.
Маршрутизация и кэш
Простые запросы уводим в дешёвую модель и семантический кэш, а сложные оставляем сильной модели. Правила маршрутизации задаёт инженер, и он же пересматривает их при росте нагрузки.
Замер до и после
Метрики ответов и стоимость берём замером до и после на одном наборе задач, чтобы видеть эффект в цифрах. Так вы сравниваете один и тот же набор и видите реальную экономию.
Контроль бюджета
Контроль бюджета включаем вместе с оптимизацией: лимиты и алерты по стоимости показывают рост в день всплеска. Превышение вы видите сразу, в тот же день, когда оно появилось.
Где решение упирается
- 01
Повторная передача контекста
Модель перечитывает историю и документы на каждом шаге, и вы платите за это снова. Повторная передача контекста — главная статья расхода.
- 02
Сильная модель на простых фразах
Приветствия, уточнения и опечатки обрабатывает сильная модель, хотя для них хватает дешёвой. Избыточная модель на простых фразах раздувает бюджет.
- 03
Промпт без сжатия
В контекст попадают фрагменты, избыточные для ответа, и каждый из них стоит токенов. Сжатие промпта убирает этот расход и снижает счёт.
- 04
Отсутствие кэша
Один и тот же вопрос про регламент уходит к провайдеру заново, хотя ответ уже был. Кэширование отвечает из памяти и снимает повторные вызовы.
- 05
Кэш требует повторов
В продукте без повторных вопросов кэш только добавляет векторный поиск. Кэш окупается там, где похожие запросы возвращаются регулярно.
- 06
Размер чанка под документ
Слишком мелкий чанк рвёт контекст, крупный тащит лишние токены. Размер чанка подбираем под конкретный документ, чтобы сохранить смысл и цену.
- 07
Маршрутизация требует разметки
Правила, какие запросы считать простыми, задаёт инженер, и их нужно поддерживать. Маршрутизация требует разметки и регулярного пересмотра правил.
- 08
Экономия и качество
Если задача требует сильной модели, дешёвая даст худший ответ. Экономия и качество связаны, и метрики показывают границу, где резать безопасно.
Технологии
Технологии, которые мы используем в работе, и их роль в проекте.
Метрики, кэш и инференс
Стоимость по шагам собирает Langfuse, кэш живёт в Redis, инференс обслуживает vLLM, метрики снимает Prometheus, а история хранится в PostgreSQL.
Калькулятор стоимости
Это ориентировочный диапазон, а не коммерческое предложение. Точную смету подготовим после брифа: она зависит от объёма и числа интеграций.
Аккаунты
Глубина оптимизации
Reserved и rightsizing
Дополнительно
Поддержка
Первый год: обновления и мониторинг, ответ за 2 рабочих дня.
Услуга
Оптимизация ИИ-инфраструктуры и стоимости токенов
В смету входит работа команды. Оборудование, лицензии сторонних сервисов и командировки добавляем по согласованию.
Расчётная стоимость
640 000 ₽
Срок работ
3 нед.
Частые вопросы
Качество упадёт?
Мы замеряем метрики ответов до и после. Кэш и маршрутизация не трогают сложные запросы, поэтому просадку видно сразу и её откатывают.
Сколько занимает аудит?
Профиль за период — два дня, план оптимизации — неделя.
Нужен доступ к проду?
Достаточно выгрузки логов вызовов и метрик. В прод заходим только на этапе внедрения.
Что если не будет экономии?
Показываем расчёт до внедрения. Если эффекта нет, работу не начинаем.
Как быстро окупается оптимизация?
Срок окупаемости считаем на профиле ваших вызовов: сравниваем стоимость до и после с учётом работ. При регулярной нагрузке эффект виден в первые недели, а при разовой честно говорим, что она не окупится.
Что входит в сам аудит?
Аудит включает профиль вызовов по шагам, карту расходов по моделям и промптам, план оптимизации и оценку эффекта в деньгах. Это отчёт с числами, по которым можно принимать решение, а не общие рекомендации.
Локальная модель обязательна?
Нет. Локальный инференс нужен, когда важны цена на объёме или конфиденциальность данных. Если задачи дешевле закрывает облако, оставляем облако и оптимизируем вызовы.
Что берут вместе с этой услугой
Связанные услуги
В составе решений
Готовы обсудить задачу?
Оставьте заявку – вернёмся с предложением и предварительной оценкой.
Связаться с нами