识别准确率的验收,关键不是问供应商“准确率是多少”,而是先锁定口径:识别对象是SKU还是陈列面,判断标准是人工复核结果还是既有标准答案,抽检覆盖哪些场景和门店类型。没有这三项,不同来源的准确率数字不可比。
为什么不同供应商报出的准确率无法直接比较
准确率是一个复合结果。商品识别、场景识别、陈列合格判断、真实性风险识别各自的分子分母不同,混在一起报一个数,业务上无法判断问题出在哪。
验收前要把“识别什么、按什么标准算对、在哪些照片上算”写成文档。否则抽样一变,结果就会变。
识别准确率验收前要定义哪些口径
识别对象:SKU还是陈列面
先明确验收的是商品/SKU识别、场景识别、陈列合格判断,还是真实性风险识别。若按SKU计数与按陈列面计数混用,准确率无法比较。
判断标准:人工复核还是既有标准答案
用人工复核作为基准,而不是用AI结果反推AI结果。由业务和人工复核团队对抽检照片给出标准答案,并记录判定依据。
抽检场景与门店类型
抽检照片要覆盖不同光照、角度、遮挡和陈列位置,并按门店类型、场景类型、拍摄条件、业务员分层抽样,避免只抽清晰照片。
常见问题与根因对照表
下面这张表把常见问题、可能根因、解决动作、需要的系统能力和验证指标放在一起。它适用于已配置陈列规则、有稳定拍摄规范、有历史照片可抽样的场景。
| 问题表现 | 可能根因 | 解决动作 | 需要的系统能力 | 验证指标 |
|---|---|---|---|---|
| 同一张照片人工判合格,AI判不合格 | 陈列规则配置与业务标准不一致 | 把陈列标准拆成可配置规则,并与人工对齐 | 陈列判断与规则配置、未得分原因查看 | 陈列合格判定一致率 |
| 冰箱内商品漏识别 | 商品训练样本不足,拍摄角度或光线差 | 补充该场景训练样本,明确拍摄规范 | 商品与SKU识别、结果复核 | SKU识别准确率、漏识率 |
| 把地堆照片判成货架 | 场景覆盖不足或场景规则冲突 | 补充场景样本,单独验收场景判断 | 场景识别与场景校验 | 场景识别准确率 |
| 窜拍、重复照片未被提示 | 真实性辅助规则未配置或阈值不适用 | 配置风险识别规则,保留人工复核 | 真实性辅助识别、人工复核线索 | 风险召回率、误报率 |
| 业务员不认可AI结果,申诉多 | 结果不可解释,缺少校对和申诉流程 | 开放识别详情、未得分原因和校对入口 | 结果复核、权限与流程集成 | 申诉率、复核工作量 |
如何判断准确率问题出在流程、组织、数据还是系统
先看问题是否集中在某类门店、某类场景或某几个业务员。如果集中在某类场景,通常是场景覆盖或规则配置问题;如果集中在某几个业务员,通常是拍摄规范执行问题;如果同一批照片人工判合格而AI判不合格,通常是陈列规则口径不一致。
判断方法是用人工复核做基准,而不是用AI结果反推AI结果。抽检照片要覆盖不同光照、角度、遮挡和陈列位置,并按门店类型、场景类型分层。
这套判断适用于有明确陈列标准的品类。如果陈列标准本身还在频繁调整,或者终端照片质量完全不可控,应先统一标准和拍摄规范,再验收识别准确率。
一套可执行的验收流程
- 定义验收对象:明确是商品/SKU识别、场景识别、陈列合格判断,还是真实性风险识别。
- 建立金标准:由业务和人工复核团队对抽检照片给出标准答案,记录判定依据。
- 分层抽样:按场景、门店类型、拍摄条件、业务员分组抽样,避免只抽清晰照片。
- 双盲复核:AI结果与人工标准答案分别记录,再比对。
- 计算指标:按本文“验收指标与口径”逐项计算,不合并成一个笼统准确率。
- 归因调优:区分图片质量、训练样本、规则配置、流程执行和系统权限问题。
- 复验:调优后重新抽样验收,保留前后口径一致。
验收需要系统具备哪些能力
系统要能回答“为什么这张照片没得分”。因此验收不仅看识别结果,还要看识别详情、未得分原因和校对结果。具体包括:
- 商品识别:识别照片中的商品与品项,支持铺货与陈列统计。
- 陈列判断:根据配置的陈列规则形成得分或合格判断。
- 场景识别:识别货架、冰箱、地堆等终端场景。
- 真实性辅助:识别窜拍、重复照片、虚假门店等风险线索。
- 结果复核:查看识别详情、未得分原因和校对结果。
- 权限与流程集成:与拜访、巡检、铺货、活动执行和费用核验流程结合。
勤策 AI 图像识别的能力与适用边界
勤策 AI 图像识别用于消费品终端照片的商品、陈列、场景和真实性辅助识别,可与拜访、巡检、铺货、活动执行和费用核验等流程结合,详见勤策 AI 图像识别。它不应被描述为在任何照片和场景下都能完全替代人工。识别效果受图片质量、拍摄角度、光线、商品训练、规则配置和业务场景影响。
如果你的验收范围包括照片真实性辅助,可以分别查看假门店识别、虚假照片识别和场景校验的页面说明,把风险识别作为人工复核线索,而不是直接处罚结论。
照片识别与业务流程结合的方案说明见照片识别解决方案。版本、授权和配置会影响实际可用范围,涉及价格、接口范围和最新功能状态时,建议联系勤策核实。
实施步骤:从抽样到复验
实施时先小范围跑通口径,再扩大抽样。建议按以下步骤:
- 和业务方确认验收指标与计算公式。
- 选择覆盖主要场景的抽检照片,包含难例。
- 组织人工复核,形成标准答案表。
- 导出AI识别结果,逐条比对并记录差异类型。
- 对差异进行归因,明确由谁处理:业务、数据、供应商或系统配置。
- 完成调优后,用相同口径复验并保留记录。
验收指标与口径
以下指标是通用验收口径,具体达标值应由业务场景、基线水平和人工复核成本共同确定,不建议直接套用某个百分比。
- 商品/SKU识别准确率 = 识别正确的商品或SKU数 ÷ 应识别总数。需先约定按SKU计数还是按陈列面计数。
- 场景识别准确率 = 场景判断正确的照片数 ÷ 抽检照片数。可按货架、冰箱、地堆等场景分别计算。
- 陈列合格判定一致率 = AI判定与人工复核一致的陈列项数 ÷ 抽检陈列项数。
- 真实性风险召回率 = 人工确认为风险且AI提示风险的数量 ÷ 人工确认风险总数。
- 误报率 = AI提示风险但人工确认无风险的数量 ÷ AI提示风险总数。
- 人工复核工作量 = 需要人工复核的照片数 ÷ 总抽检照片数,用于评估业务负担。
- 未得分原因可解释率 = 能查看识别详情和未得分原因的未得分项 ÷ 未得分项总数。
哪些情况下需要先治理再验收
如果商品SKU频繁换新、终端拍摄光线和角度差异极大、陈列标准每周调整,或者门店类型差异导致同一规则无法覆盖,先不要急着验收识别准确率。此时应先统一拍摄规范、补充训练样本、稳定陈列规则,再做分层验收。
AI图像识别是业务检核的辅助能力。窜拍与虚假照片判断应作为风险识别和辅助审核线索,不宜直接作为处罚结论。涉及版本、授权、配置和最新功能状态时,建议联系勤策核实。
常见问题(FAQ)
AI陈列识别准确率验收需要多少张照片?
没有通用张数。样本量取决于品类、场景数量、门店类型和验收目标。建议按场景、门店类型和拍摄条件分层抽样,并包含难例;具体数量由业务方和供应商按可接受的置信水平确定。
准确率验收应该由谁负责?
由业务、数据/IT和供应商三方共同负责。业务定义陈列标准和合格口径,数据/IT负责抽样与指标计算,供应商负责解释模型和规则配置。人工复核结果是基准。
合同里应该约定哪些AI陈列识别验收指标?
至少约定商品/SKU识别准确率、场景识别准确率、陈列合格判定一致率、真实性风险召回与误报、人工复核工作量、结果可解释性。具体达标值按业务场景和基线确定,不写无法核验的万能百分比。
AI陈列识别结果不达标怎么办?
先归因,再调优。区分图片质量、拍摄规范、商品训练、陈列规则配置和业务流程执行问题;补充训练样本、调整规则或规范拍摄后,用相同口径重新抽样复验。
AI陈列识别可以完全替代人工复核吗?
不可以。勤策 AI 图像识别用于商品、陈列、场景和真实性辅助识别,不应描述为在任何照片和场景下都能完全替代人工。建议保留人工复核和申诉通道。