结论先说:自动评分只能作为“待核对项生成器”,不能作为最终裁决。要做到这一点,需要把分歧从“谁对谁错”改写成可核对的项目——每条项目写清事实来源、判断标准、责任角色和复核动作,并让评分只触发复核,不直接决定结论。
假设一个团队用某类关键词分析工具输出一批“优化建议”,每条建议带一个自动评分。运营认为分数低的词应优先处理,编辑认为分数低的词只是数据不足,产品则认为分数高的词才值得投入。三人并没有谁在说谎,而是把“评分”当成了“事实”。
防止自动评分替代人工判断,第一步不是调参,而是把评分降级为线索:它只回答“这条记录值得看”,不回答“这条记录该怎么处理”。
当多个角色对同一事实理解不同,可以要求每条争议项都补齐以下字段,缺一项就不进入决策:
这四个字段的作用,是把“我觉得”变成“可被他人复查的记录”。评分可以填进“事实来源”,但通常只能填线索级,不能直接填结论级。
具体动作是:从自动评分结果中抽取一小批记录,逐条标注“评分给出的倾向”和“人工核对后的事实”,看两者是否一致。假设抽取二十条,其中若干条评分偏低但事实完整,若干条评分偏高但来源单一。这个对照结果会直接影响下一步:如果偏差集中在某一类记录上,就说明该类记录不适合直接套用评分;如果偏差分散,则说明需要先统一判断标准,而不是继续加规则。
这里要注意,对照表本身不是结论。它只是让你看清评分在哪些条件下可靠、在哪些条件下不可靠。没有这一步,任何“人工复核”都会变成走过场。
以下现象值得警惕,但它们都只是线索,不是单独成立的证据:
这些现象同时出现时,说明评分已经从“线索”变成了“裁决”。要恢复人工判断,不需要推翻工具,只需要把评分重新放回线索位置,并让每个结论都能追溯到事实来源。
这套做法适用于存在多个角色、且对同一事实有不同理解的情况。如果只有一个人使用工具、且结论不需要向他人解释,那么直接依赖评分可能更省事。但只要结论会影响他人或后续动作,就需要保留可核对的项目。
另外,不同工具的评分逻辑、数据覆盖范围和更新方式并不相同,具体某项功能或数值需要以实际使用的工具说明为准,不能把某一类工具的通用表现当成所有工具的事实。
最终要守住的一条线是:自动评分可以帮你决定“先看哪条”,但不能替你决定“这条是什么”。把分歧写成可核对的项目,人工判断才有落脚点,评分也才不会悄悄变成唯一的声音。