苹果研究：LLM做翻译质量标注仍不可靠
热点事件观察中
苹果研究：LLM做翻译质量标注仍不可靠
1 篇报道1 个报道来源1 天前更新
先了解这件事
AI 综述
苹果研究团队发布研究，评估大语言模型在机器翻译质量标注中与人类标注者的一致性，覆盖 MQM 和 ESA 两种标注方案、70 个语言对的长上下文测试集及 WMT23、WMT25 公开数据。结论是：LLM 在某些任务上与人类的一致性超过人类标注者之间的一致性，但在多数标注方案、语言对和领域下仍不可靠。 研究同时指出双方各自的短板：人类在细粒度 MQM 标注和低资源语言对上尤为吃力，LLM 则难以处理细微错误、错误语言变体和错误跨度标注。
AI 根据报道生成 · 1 小时前更新
最新进展10月12日 08:00
苹果研究：LLM 做机器翻译质量标注，人类与模型都面临挑战报道时间线
沿着报道，了解事件的不同侧面。
10月12日
- Apple Machine Learning Research苹果研究：LLM 做机器翻译质量标注，人类与模型都面临挑战
苹果研究团队评估了 LLM 在 MQM 和 ESA 两种机器翻译质量标注方案下与人类标注者的一致性，测试覆盖 70 个语言对的长上下文测试集及 WMT23、WMT25 公开数据。结果显示，LLM 在某些任务上与人类的一致性超过人类标注者之间的一致性，但在多数标注方案、语言对和领域下仍不可靠。人类在细粒度 MQM 标注和低资源语言对上尤为吃力，LLM 则难以处理细微错误、错误语言变体和错误跨度标注。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。