返回文档中心
测量指标归因

怎么量化 AI 可见度:提及率、位次与引用源

没有固定题集的可见度数字,只能当故事听。

6 分钟5 节

01先固定问题,再谈指标

测量从题集开始。把用户真实会问的问题写下来,标明意图、语言、地区与业务约束,冻结成一个版本。之后所有对比都用这一版,改题就等于换了尺子,前后的数字不再可比,也很难向别人解释变化从哪来。

题集里要包含你不适合被推荐的问题。如果每道题都预设正确答案是你的品牌,测出来的数字只能证明提问方式,不能证明可见度。带着答案去提问,得到的通常是答案。

  • 非品牌问题:用户还不知道你时会怎么问
  • 品牌核验问题:知道名字后确认价格、能力与限制
  • 排除条件问题:什么情况下你不适用
  • 故障与迁移问题:已经使用的人会遇到的细节

02五个指标,各自的分母

提及率是正文提到品牌的回答数,除以取得完整回答的次数;引用率是至少引用一次目标域名的回答数,除以同一个分母;引用份额则是你的去重引用数占全部去重引用数的比例。三个分母不同,不能混着比较。

再往下是质量。关键事实正确率看被核对过的断言里有多少是对的,引用支持精度看来源是否真的支撑旁边那句话。数量涨了而质量掉了,是这类项目里常见的结果,只报前者会掩盖后者。

03失败不能算成「没提及」

超时、限流、登录失效导致没拿到回答,属于技术失败,要单独统计,不能悄悄记成未提及。拒答、没推荐、没触发搜索,只要拿到了正常回答,就是有效样本,也不能删除,否则分母会被无声地美化。

技术失败会让真实比例落在一个区间里。用计划次数和成功次数算出上下界,说明未知部分可能造成多大影响,比直接给一个精确到小数点的数字要诚实,也更容易在下一次复测时复用。

04百分点和百分比不要写混

从七次里的两次变成七次里的四次,是提高约 28.6 个百分点,相对增幅 100%。写成「提升 28.6%」会让读者以为是相对增长,两种说法必须分清,尤其是在给不熟悉指标的人做汇报时。

同时要说明这个数字代表什么范围。四道题的结果推不出整个平台的可见度,样本量小的时候,日常波动本身就可能大于改动带来的差异,此时更稳妥的写法是描述观察到的变化,而不是宣布因果关系。

05把引用接到业务上

提及、引用、可识别访问、业务事件是四层,能连起来的只有可追踪的同一条访问链。识别不到来源的访问要保留为未知,不能全部算给 AI,也不能把引用截图当成营收,这两件事之间隔着好几步。

每一层都要有事先写好的定义:什么算一次引用、什么算一次有效咨询、什么算技术失败。定义写在测量之前,才不会在看到结果之后被调整成好看的样子,也才能在两次复测之间保持一致的口径。

  • 固定题集记录:题目、时间、入口、回答全文、引用 URL
  • 引用核对:每条来源是否支持对应断言
  • 可识别访问:按预先写好的规则判断来源
  • 业务事件:咨询、试用、下单等有明确定义的动作
  • 每层单独汇报,不做跨层推算

要点

  • 先冻结题集,再谈变化,改题等于换尺子
  • 提及率、引用率、引用份额的分母不同,不能混比
  • 技术失败要单列,不能填成未提及;拒答仍是有效样本
  • 百分点与百分比是两种写法,报告里必须写清是哪一种