01先固定问题,再谈指标
测量从题集开始。把用户真实会问的问题写下来,标明意图、语言、地区与业务约束,冻结成一个版本。之后所有对比都用这一版,改题就等于换了尺子,前后的数字不再可比,也很难向别人解释变化从哪来。
题集里要包含你不适合被推荐的问题。如果每道题都预设正确答案是你的品牌,测出来的数字只能证明提问方式,不能证明可见度。带着答案去提问,得到的通常是答案。
- 非品牌问题:用户还不知道你时会怎么问
- 品牌核验问题:知道名字后确认价格、能力与限制
- 排除条件问题:什么情况下你不适用
- 故障与迁移问题:已经使用的人会遇到的细节
02五个指标,各自的分母
提及率是正文提到品牌的回答数,除以取得完整回答的次数;引用率是至少引用一次目标域名的回答数,除以同一个分母;引用份额则是你的去重引用数占全部去重引用数的比例。三个分母不同,不能混着比较。
再往下是质量。关键事实正确率看被核对过的断言里有多少是对的,引用支持精度看来源是否真的支撑旁边那句话。数量涨了而质量掉了,是这类项目里常见的结果,只报前者会掩盖后者。
03失败不能算成「没提及」
超时、限流、登录失效导致没拿到回答,属于技术失败,要单独统计,不能悄悄记成未提及。拒答、没推荐、没触发搜索,只要拿到了正常回答,就是有效样本,也不能删除,否则分母会被无声地美化。
技术失败会让真实比例落在一个区间里。用计划次数和成功次数算出上下界,说明未知部分可能造成多大影响,比直接给一个精确到小数点的数字要诚实,也更容易在下一次复测时复用。
04百分点和百分比不要写混
从七次里的两次变成七次里的四次,是提高约 28.6 个百分点,相对增幅 100%。写成「提升 28.6%」会让读者以为是相对增长,两种说法必须分清,尤其是在给不熟悉指标的人做汇报时。
同时要说明这个数字代表什么范围。四道题的结果推不出整个平台的可见度,样本量小的时候,日常波动本身就可能大于改动带来的差异,此时更稳妥的写法是描述观察到的变化,而不是宣布因果关系。
05把引用接到业务上
提及、引用、可识别访问、业务事件是四层,能连起来的只有可追踪的同一条访问链。识别不到来源的访问要保留为未知,不能全部算给 AI,也不能把引用截图当成营收,这两件事之间隔着好几步。
每一层都要有事先写好的定义:什么算一次引用、什么算一次有效咨询、什么算技术失败。定义写在测量之前,才不会在看到结果之后被调整成好看的样子,也才能在两次复测之间保持一致的口径。
- 固定题集记录:题目、时间、入口、回答全文、引用 URL
- 引用核对:每条来源是否支持对应断言
- 可识别访问:按预先写好的规则判断来源
- 业务事件:咨询、试用、下单等有明确定义的动作
- 每层单独汇报,不做跨层推算
要点
- 先冻结题集,再谈变化,改题等于换尺子
- 提及率、引用率、引用份额的分母不同,不能混比
- 技术失败要单列,不能填成未提及;拒答仍是有效样本
- 百分点与百分比是两种写法,报告里必须写清是哪一种