一套医疗人工智能系统，答对了九成问题，算不算安全？如果剩下的一成恰好落在急症分诊、药物禁忌或高风险人群身上，漂亮的平均分反而可能掩盖真正危险。11月4日，Google公布一套面向健康场景的端到端评估框架，把准确性、安全性和有用性拆开衡量，并把封闭题基准、自动评分器与专家人工复核放进同一条评估链。这件事的意义，不在于又多了一个排行榜，而在于它把医疗AI从“会不会回答”推向“在具体情境下能不能被信任”。

三个分数不能互相替代

通用模型评测常把正确答案当作核心目标，但健康问题并不只存在“对”和“错”。一句医学知识上正确的话，如果没有提醒就医时机，可能缺乏有用性；一段建议如果忽略年龄、妊娠、慢性病或正在服用的药物，即使表述流畅，也可能不安全；而一味给出保守警告，虽然降低风险，却可能让用户得不到可执行的信息。Google把准确性、安全性和有用性并列，实际上承认了三者之间存在张力，任何单一总分都会丢掉一部分临床含义。

框架同时覆盖常见问题和高风险情境。常见问题能检验模型是否稳定，高风险情境则决定系统有没有资格进入真实工作流。两者不能用同一套权重处理：感冒护理回答得再好，也不能抵消一次胸痛分诊失误。对产品团队而言，这意味着测试集不能只追求数量，还要按危害程度分层，并为少数但后果严重的失败保留单独的阻断规则。

为什么自动评分还需要专家

自动评分器适合快速扫描大量回答，发现明显事实错误、遗漏或不一致；封闭题基准适合做版本间比较，判断模型升级后是否发生能力回退。但医疗建议往往依赖上下文，很多答案不是一句话就能判定。例如，“可以先观察”是否合理，取决于症状持续时间、严重程度和伴随信号；“咨询医生”也可能只是安全套话，无法证明系统真的理解风险。

专家人工复核因此不是装饰，而是把临床判断带回评估过程。专家能检查模型有没有追问关键条件、有没有把不确定性说清楚、有没有在需要时升级处理。更重要的是，专家可以解释为什么一个答案不合格，帮助团队把失败转成可复现的测试案例。只有形成“自动扫描发现问题—专家界定风险—新版本回归验证”的循环，评估才会真正影响产品，而不是停在发布会材料里。

评估框架改变的是上线方式

如果一套健康AI只在上线前做一次测试，它很快会被新的模型版本、提示词、知识库和用户行为拖离原来的安全边界。端到端框架更适合被做成持续门禁：每次模型或系统改动，都重新跑常见场景与高风险场景；一旦关键风险项退步，就暂停发布。线上还要保存去标识化的失败类型和人工升级记录，观察实验室里没有覆盖的真实问题。

这种方法也会改变采购和监管沟通。医院或健康平台不该只问“模型分数多少”，而应要求查看场景覆盖、失败分布、人工复核方法和版本变化。开发者需要说明哪些问题能处理、哪些问题必须转交专业人员，以及系统遇到信息不足时会怎样行动。可信度来自边界透明，而不是来自一个看起来很高的百分比。

对行业更现实的启示

医疗AI的竞争，很可能不会只由最大模型赢得。能否建立稳定的评估流程、能否把高风险失败关在上线之前、能否持续吸收临床反馈，都会成为产品差异。小模型如果在限定场景里有清楚边界，可能比一个什么都敢回答的大模型更有价值。

Google公开这套方法，也提醒市场不要把“模型能力”与“产品安全”混为一谈。前者描述模型可能做到什么，后者取决于数据、交互、监控、人工介入和责任设计。真正成熟的医疗AI，不是永远给出答案，而是在该回答时给出可靠答案，在信息不足时承认不确定，在风险升高时把决定交还给专业人员。那才是从演示走向真实医疗的门槛。