Выбор типа задачи
Разделение продукции на годную и негодную можно рассматривать как классификацию, прогноз числового значения — как регрессию. Указывают, кто создаёт метки и по какому правилу. Если достаточно простого правила, его сначала проверяют как базовый вариант. Сложность сама по себе не создаёт пользы.
Границы обучения и испытаний
Обучающая, валидационная и итоговая тестовая выборки имеют разные задачи. Похожие снимки одной детали в разных выборках могут завысить результат. Для производственных снимков стоит рассмотреть разделение по изделию или сеансу съёмки. Итоговый тест не используют многократно для выбора модели и порогов.
Контроль последствий ошибок
При редких дефектах общая точность может вводить в заблуждение. Пропущенные дефекты и ошибочный брак оценивают отдельно, для неясных случаев предусмотрена проверка. При изменении продукции, камеры или процесса проверяют новые примеры. Переобучение обосновывают изменениями данных и типами выявленных ошибок.