Anthropic 发布了安全评测方法文章，结合自家模型的测试，介绍如何设计多轮场景、校准评分模型和报告统计不确定性。该公司指出，安全评测影响模型能否部署、搭配哪些防护措施，以及后续安全训练的方向；但分数更高是否意味着模型更安全，需要结合测试设计、运行配置和置信区间判断。
据 Anthropic 自测，近期各模型在其 API 上的单轮安全评测汇总无害回应率均为 94% 至 98%。该公司认为，这类任务已趋于饱和，主要用于检查已知失败模式是否再次出现。其单轮安全评测覆盖 16 个政策领域、7 种语言和多个产品界面。
Anthropic 强调，拒答率并不总能代表安全性。例如，面对自杀与自伤相关话题，一律拒答可以获得很高的拒答率，却未必是更安全的回应。因此，其多轮安全评测采用「恰当回应率」：依据领域专家制定的标准，判断模型是否在整段对话中始终回应得当，只要有一轮不当，整段对话就不通过。
具体做法是：由领域专家编写模拟用户的目标、策略和情境，固定首轮用户消息，再由另一个 Claude 模型生成后续用户消息。每个场景运行多次，最后由评分模型按照对应风险领域的标准评价完整对话，以捕捉逐步显露的有害意图。
Anthropic 将 100 题作为复杂多轮评测的下限，将 1000 题作为较简单单轮评测的下限，并建议事先写明指标、比较方式和分析计划，每个测试案例运行多次，并报告结果分布。
其系统卡为分数附带置信区间；API 上的多轮评测，区间可能超过 ±10 个百分点。据发布方自测，在 claude.ai 的情感诈骗多轮评测中，Claude Opus 5 与 Opus 5.5 的恰当回应率分别为 98% 和 94%，但差异不具统计显著性，不能据此认定其中一个表现更好。
对于负责打分的 AI，Anthropic 建议使用清晰、独立的二元判断标准，并用人工标注检验评分一致性。若更换评分模型或调整评分标准后结论发生变化，就需要重新检查评测本身。
据 Anthropic 自测，Claude Fable 5.1 在 API 与 claude.ai 两种配置下，多轮安全评测的恰当回应率差距最高达 34 个百分点。
在发布前的自杀与自伤评测中，该公司发现模型有时会隐含认可自伤作为应对方式，于是在系统提示词中加入不得告诉用户自伤「有效、有帮助或起作用」的指令。连同其他针对性提示词措施重跑评测后，API 的恰当回应率为 60%，使用新系统提示词的 claude.ai 为 94%；这一比较涉及多项提示词调整，不能只归因于单条指令。
评测环境同样需要防护。Anthropic 称，因自身发生过的事件，近几个月已加固环境，暂时停跑许多需要模型联网的评测，并为必须联网的网页搜索评测加入实时监控。
