Внедрение компьютерного зрения

Прежде чем учить модель, фиксируем вместе с технологами, что именно считать браком: царапина на корпусе, отклонение оттенка упаковки или сдвиг шва на два миллиметра. Правило должно читаться на фото, а не жить в голове у оператора. Расхождение в описании дефекта обходится дороже всех этапов обучения.

Модель ошибается в две стороны: пропускает дефект или поднимает ложную тревогу. Ужесточите порог срабатывания, и поток бракованных корпусов пойдёт дальше по цеху. Ослабьте его, и линия начнёт останавливаться ради безобидного блика. Обе ошибки стоят денег, поэтому стоимость обеих переводим в рубли до старта пилота.

Перед запуском считаем, какая ошибка дороже: рекламация клиента за пропущенный брак или переделка партии из-за лишних остановок. На продуктовом конвейере решают деньги рекламаций, на кассовых зонах всегда важнее не остановить поток. Порог срабатывания выставляем под ту цену, что больнее бьёт по бюджету.

Отчитываемся не картинками с зелёными галочками, а метриками: полнота показывает, какую долю дефектов модель нашла среди всех, а точность отвечает, сколько тревог были настоящими. Целевые значения записываем в ТЗ до старта работ. Недостающую полноту видим в цифрах на первой же валидации и проверяем по итерациям.

Кадры, где модель сомневается, не списываем в брак и не пропускаем молча: их рассматривает оператор на отдельном экране. На практике так снимается большая часть спорных случаев ценой десятка секунд внимания в час. Никакой автоматизации, где исход влияет на рекламацию, без живой проверки.

Сто процентов пойманного брака не гарантируем, это сказка из презентаций вендоров. На линии с сорока тысячами деталей за смену даже полнота 99,9% оставляет хвост пропусков. Мы заранее называем, где он останется на всём потоке и как часто оператор будет его добирать вручную после смены.

Главный труд в проекте не модели, а данные: размеченная выборка собирается неделями и правится после первых прогонов. На это закладываем бюджет с первой недели, а не вспоминаем в момент пилота. Модель без чёткой качественной разметки это красивая гипотеза, а не рабочий инструмент.

Разметку ведём вместе с вашими технологами, они знают дефекты лучше любого внешнего подрядчика. Сотрудник, занятый разметкой пару часов в день, за месяц даёт заметный прирост полноты, а его замечания про нестандартные случаи попадают в тест-выборку. Так база знаний растёт внутри самого завода.

Прежде чем покупать дорогие камеры, стабилизируем свет: лампы и рассеиватели на линии часто дешевле пары видеокарт и снимают половину ошибок распознавания. Свет, а не модель, делает большинство кадров читаемыми. Тень от оператора на конвейере даёт больше ложных срабатываний, чем самая слабая модель.

Модель можно запустить прямо на камере или на сервере с видеокартой. Краевые устройства дёшевы на потоке и не зависят от сети, но пасуют перед сложными сценами. Серверный вариант проще обновлять и масштабировать, зато тянет постоянную статью расходов на аренду, электричество, охлаждение и обслуживание.

Переобучение закладываем в бюджет с самого начала: раз в месяц модель дообучается на новых примерах, которые операторы добавили за этот период. Регулярный резерв на это копеечный, но без него точность ползёт вниз незаметно: свет, ассортимент и упаковка меняются быстрее, чем хочется.

Зрение требует постоянного присмотра: кто-то должен добавлять примеры, отвечать на вопросы операторов и смотреть на метрики. Если в команде нет полставки инженера на поддержку, честнее обсудить это до старта, чем потом ловить просадку точности и винить систему. Отсутствие поддержки чаще всего губит проект через полгода.