企业 AI 上线后如何持续评测？建立离线题库与在线反馈双循环

企业 AI 通过试点验收后，质量不会自动稳定。业务知识会更新，数据分布会变化，工具接口会调整，用户提问方式也会超出最初设计。只在上线前做一次评测，几个月后仍可能出现答案过时、权限越界、引用错误或建议无法执行。

持续评测不是为了得到一个漂亮总分，而是让团队及时发现哪类任务正在变差、变化从哪里产生，以及应该更新知识、流程、提示、工具还是模型。

把评测对象定义为业务任务

不要只评“模型聪不聪明”。应把对象写成可观察任务，例如查询产品规则、解释经营指标、生成客户跟进摘要、识别订单异常或提出补货建议。每项任务明确输入来源、允许使用的工具、期望输出、禁止事项和责任人。

同一模型在不同任务上的风险完全不同。知识问答关注来源与时效，经营建议关注依据与边界，执行型智能体还要验证权限、参数和回滚能力。

建立分层离线题库

离线题库应覆盖高频问题、关键边界、历史故障和故意对抗场景。可以分为基础正确性、业务规则、权限隐私、异常输入、工具调用和拒答六类。

题库不能只收集标准问法。真实用户会使用简称、口语、缺少条件或带有错误前提的问题。每道题记录来源、适用版本、期望要点、允许差异和风险等级，避免把唯一措辞当成唯一正确答案。

不要只看答案相似度

企业 AI 的质量至少包含事实正确、来源可追溯、权限合规、业务可执行、表达清楚和知道何时拒答。对执行任务，还要检查工具是否选对、参数是否正确、动作是否需要人工确认。

部分指标可以自动评估，但高风险任务必须由业务专家抽检。评测结果应保留失败样本和原因，单一平均分会掩盖少量但严重的问题。

为关键风险设置发布门禁

新知识、新提示、新工具或新模型上线前，应运行固定回归题库。普通表达变化可以允许一定波动，但权限泄露、错误执行、无来源断言和高风险不当建议应设为阻断项。

门禁要明确谁可以批准例外、例外有效到何时、上线后怎样监控。不能因为总体得分提高，就接受关键风险场景退化。

建立在线反馈入口

离线题库只能覆盖已知问题，线上反馈用于发现未知变化。用户应能标记答案无用、事实错误、来源过期、权限异常或建议不可执行，并补充正确做法。

反馈入口要尽量接近使用现场，但不能只有点赞和点踩。没有失败类型、任务上下文和处理状态，反馈很难转化成改进动作。

把失败归因到可处理环节

错误可能来自知识缺失、数据延迟、检索不准、提示不清、工具失败、模型能力、权限配置或流程设计。分类时先定位证据，不要把所有问题都归为“模型幻觉”。

每类失败对应不同负责人和措施。知识问题由内容责任人修订，数据问题回到数据治理，工具问题由系统负责人处理，流程问题则需要业务负责人重新定义边界。

形成离线与在线双循环

线上高频失败经过清洗和脱敏后，进入候选题库；业务专家确认预期结果，再纳入固定回归集。离线评测发现的问题修复上线后，继续观察线上是否真正改善。

题库也需要版本管理。业务规则废止后，对应答案应更新或下线；过时题目如果长期保留，会让系统为旧要求优化。

分开观察质量、成本与时延

更强的模型并不一定适合所有任务。应分别记录任务成功、人工接管、响应时间、调用成本和失败影响。高风险低频任务可以使用更严格流程，高频低风险任务则更关注稳定和成本。

模型路由、缓存和批处理能改善效率，但不能牺牲来源、权限和可解释性。成本优化必须在质量门禁之后进行。

高风险动作坚持人工确认

涉及合同、付款、价格承诺、权限变更、客户发送和生产控制的动作，不应仅凭模型输出自动完成。系统要展示依据、目标对象和影响，保留人工确认、取消和审计记录。

人工确认也不是形式按钮。确认人需要看懂发生了什么，能够修改参数，并知道错误时如何回退。

用固定节奏运营评测

团队可以按周处理线上失败，按版本运行回归，按月复盘任务价值与风险。复盘关注哪些任务持续改善、哪些问题反复出现、哪些能力应缩小范围或暂停。

微智 AI 大脑是微智的核心 AI 产品，必须建立在可信数据、企业知识与受控流程上；微智承担公司与交付能力，企定智是数字产品品牌，智新负责研究、方法与内容。持续评测无法保证零错误，但能让问题更早暴露、责任更清楚、改进更可验证。

微智聚力，智新未来。