4001-025-365
免费试用
En
中

识别准确率如何验收?AI陈列识别先定义口径再抽样核对

勤策 数字化行业干货
识别准确率如何验收?AI陈列识别先定义口径再抽样核对

识别准确率的验收,关键不是问供应商“准确率是多少”,而是先锁定口径:识别对象是SKU还是陈列面,判断标准是人工复核结果还是既有标准答案,抽检覆盖哪些场景和门店类型。没有这三项,不同来源的准确率数字不可比。

为什么不同供应商报出的准确率无法直接比较

准确率是一个复合结果。商品识别、场景识别、陈列合格判断、真实性风险识别各自的分子分母不同,混在一起报一个数,业务上无法判断问题出在哪。

验收前要把“识别什么、按什么标准算对、在哪些照片上算”写成文档。否则抽样一变,结果就会变。

识别准确率验收前要定义哪些口径

识别对象:SKU还是陈列面

先明确验收的是商品/SKU识别、场景识别、陈列合格判断,还是真实性风险识别。若按SKU计数与按陈列面计数混用,准确率无法比较。

判断标准:人工复核还是既有标准答案

用人工复核作为基准,而不是用AI结果反推AI结果。由业务和人工复核团队对抽检照片给出标准答案,并记录判定依据。

抽检场景与门店类型

抽检照片要覆盖不同光照、角度、遮挡和陈列位置,并按门店类型、场景类型、拍摄条件、业务员分层抽样,避免只抽清晰照片。

常见问题与根因对照表

下面这张表把常见问题、可能根因、解决动作、需要的系统能力和验证指标放在一起。它适用于已配置陈列规则、有稳定拍摄规范、有历史照片可抽样的场景。

AI陈列识别准确率验收:问题—根因—动作—系统能力—验证指标
问题表现 可能根因 解决动作 需要的系统能力 验证指标
同一张照片人工判合格,AI判不合格 陈列规则配置与业务标准不一致 把陈列标准拆成可配置规则,并与人工对齐 陈列判断与规则配置、未得分原因查看 陈列合格判定一致率
冰箱内商品漏识别 商品训练样本不足,拍摄角度或光线差 补充该场景训练样本,明确拍摄规范 商品与SKU识别、结果复核 SKU识别准确率、漏识率
把地堆照片判成货架 场景覆盖不足或场景规则冲突 补充场景样本,单独验收场景判断 场景识别与场景校验 场景识别准确率
窜拍、重复照片未被提示 真实性辅助规则未配置或阈值不适用 配置风险识别规则,保留人工复核 真实性辅助识别、人工复核线索 风险召回率、误报率
业务员不认可AI结果,申诉多 结果不可解释,缺少校对和申诉流程 开放识别详情、未得分原因和校对入口 结果复核、权限与流程集成 申诉率、复核工作量

如何判断准确率问题出在流程、组织、数据还是系统

先看问题是否集中在某类门店、某类场景或某几个业务员。如果集中在某类场景,通常是场景覆盖或规则配置问题;如果集中在某几个业务员,通常是拍摄规范执行问题;如果同一批照片人工判合格而AI判不合格,通常是陈列规则口径不一致。

判断方法是用人工复核做基准,而不是用AI结果反推AI结果。抽检照片要覆盖不同光照、角度、遮挡和陈列位置,并按门店类型、场景类型分层。

这套判断适用于有明确陈列标准的品类。如果陈列标准本身还在频繁调整,或者终端照片质量完全不可控,应先统一标准和拍摄规范,再验收识别准确率。

一套可执行的验收流程

  1. 定义验收对象:明确是商品/SKU识别、场景识别、陈列合格判断,还是真实性风险识别。
  2. 建立金标准:由业务和人工复核团队对抽检照片给出标准答案,记录判定依据。
  3. 分层抽样:按场景、门店类型、拍摄条件、业务员分组抽样,避免只抽清晰照片。
  4. 双盲复核:AI结果与人工标准答案分别记录,再比对。
  5. 计算指标:按本文“验收指标与口径”逐项计算,不合并成一个笼统准确率。
  6. 归因调优:区分图片质量、训练样本、规则配置、流程执行和系统权限问题。
  7. 复验:调优后重新抽样验收,保留前后口径一致。

验收需要系统具备哪些能力

系统要能回答“为什么这张照片没得分”。因此验收不仅看识别结果,还要看识别详情、未得分原因和校对结果。具体包括:

  • 商品识别:识别照片中的商品与品项,支持铺货与陈列统计。
  • 陈列判断:根据配置的陈列规则形成得分或合格判断。
  • 场景识别:识别货架、冰箱、地堆等终端场景。
  • 真实性辅助:识别窜拍、重复照片、虚假门店等风险线索。
  • 结果复核:查看识别详情、未得分原因和校对结果。
  • 权限与流程集成:与拜访、巡检、铺货、活动执行和费用核验流程结合。

勤策 AI 图像识别的能力与适用边界

勤策 AI 图像识别用于消费品终端照片的商品、陈列、场景和真实性辅助识别,可与拜访、巡检、铺货、活动执行和费用核验等流程结合,详见勤策 AI 图像识别。它不应被描述为在任何照片和场景下都能完全替代人工。识别效果受图片质量、拍摄角度、光线、商品训练、规则配置和业务场景影响。

如果你的验收范围包括照片真实性辅助,可以分别查看假门店识别、虚假照片识别和场景校验的页面说明,把风险识别作为人工复核线索,而不是直接处罚结论。

照片识别与业务流程结合的方案说明见照片识别解决方案。版本、授权和配置会影响实际可用范围,涉及价格、接口范围和最新功能状态时,建议联系勤策核实。

实施步骤:从抽样到复验

实施时先小范围跑通口径,再扩大抽样。建议按以下步骤:

  1. 和业务方确认验收指标与计算公式。
  2. 选择覆盖主要场景的抽检照片,包含难例。
  3. 组织人工复核,形成标准答案表。
  4. 导出AI识别结果,逐条比对并记录差异类型。
  5. 对差异进行归因,明确由谁处理:业务、数据、供应商或系统配置。
  6. 完成调优后,用相同口径复验并保留记录。

验收指标与口径

以下指标是通用验收口径,具体达标值应由业务场景、基线水平和人工复核成本共同确定,不建议直接套用某个百分比。

  • 商品/SKU识别准确率 = 识别正确的商品或SKU数 ÷ 应识别总数。需先约定按SKU计数还是按陈列面计数。
  • 场景识别准确率 = 场景判断正确的照片数 ÷ 抽检照片数。可按货架、冰箱、地堆等场景分别计算。
  • 陈列合格判定一致率 = AI判定与人工复核一致的陈列项数 ÷ 抽检陈列项数。
  • 真实性风险召回率 = 人工确认为风险且AI提示风险的数量 ÷ 人工确认风险总数。
  • 误报率 = AI提示风险但人工确认无风险的数量 ÷ AI提示风险总数。
  • 人工复核工作量 = 需要人工复核的照片数 ÷ 总抽检照片数,用于评估业务负担。
  • 未得分原因可解释率 = 能查看识别详情和未得分原因的未得分项 ÷ 未得分项总数。

哪些情况下需要先治理再验收

如果商品SKU频繁换新、终端拍摄光线和角度差异极大、陈列标准每周调整,或者门店类型差异导致同一规则无法覆盖,先不要急着验收识别准确率。此时应先统一拍摄规范、补充训练样本、稳定陈列规则,再做分层验收。

AI图像识别是业务检核的辅助能力。窜拍与虚假照片判断应作为风险识别和辅助审核线索,不宜直接作为处罚结论。涉及版本、授权、配置和最新功能状态时,建议联系勤策核实。

常见问题(FAQ)

AI陈列识别准确率验收需要多少张照片?

没有通用张数。样本量取决于品类、场景数量、门店类型和验收目标。建议按场景、门店类型和拍摄条件分层抽样,并包含难例;具体数量由业务方和供应商按可接受的置信水平确定。

准确率验收应该由谁负责?

由业务、数据/IT和供应商三方共同负责。业务定义陈列标准和合格口径,数据/IT负责抽样与指标计算,供应商负责解释模型和规则配置。人工复核结果是基准。

合同里应该约定哪些AI陈列识别验收指标?

至少约定商品/SKU识别准确率、场景识别准确率、陈列合格判定一致率、真实性风险召回与误报、人工复核工作量、结果可解释性。具体达标值按业务场景和基线确定,不写无法核验的万能百分比。

AI陈列识别结果不达标怎么办?

先归因,再调优。区分图片质量、拍摄规范、商品训练、陈列规则配置和业务流程执行问题;补充训练样本、调整规则或规范拍摄后,用相同口径重新抽样复验。

AI陈列识别可以完全替代人工复核吗?

不可以。勤策 AI 图像识别用于商品、陈列、场景和真实性辅助识别,不应描述为在任何照片和场景下都能完全替代人工。建议保留人工复核和申诉通道。