Amazon发布FEB-30基准评估Agent记忆

Amazon 在一篇论文中提出 FEB-30 基准，用 30 条脚本化事实轨迹生成 147 篇文档，在每一步都已知正确记忆状态的前提下，直接对比存储的事实与 QA 分数。 在类 Mem0 和 Hindsight 的记忆系统上，两种评估方式平均相差 16.8 分，21% 的事实轨迹在通过/失败判定上不一致；系统选对更新、强化等记忆操作的比例只有 20.1%，而 QA 评估无法发现这一点。Amazon 据此称，部署智能体记忆的团队应检查实际存入了什么，因为仅靠 QA 分数无法揭示是哪个流程环节出了问题。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。