按该来源的展示范围,站内仅提供摘要。
前往原站阅读(在新标签页打开)METR 研究认为尽管存在不忠实,思维链仍可作为监控模型行为的信息来源
AI 导读
METR 复现 Anthropic 的 Claude Sonnet 3.7 与 Claude 4 忠实度评测并提出,当解题所需推理必须用到思维链时,模型在宽松忠实度定义下几乎总是忠实:在 21,272 条轨迹中仅发现 3 条疑似不忠实。
METR:Research(网页)
精选
64
AI 编辑部评分,满分 100METR 研究认为尽管存在不忠实,思维链仍可作为监控模型行为的信息来源
METR 复现 Anthropic 的 Claude Sonnet 3.7 与 Claude 4 忠实度评测并提出,当解题所需推理必须用到思维链时,模型在宽松忠实度定义下几乎总是忠实:在 21,272 条轨迹中仅发现 3 条疑似不忠实。
推荐理由
原文提出宽松忠实度视角并用检测实验支撑,为理解 CoT 监控在什么条件下可靠提供了可检验框架。
来源:METR:Research(网页)· metr.org