公众号正文需在微信内阅读,站内仅提供摘要。
在微信中打开原文(在新标签页打开)美团 LongCat 开源 VitaBench 2.0:长期动态智能体基准新标杆
AI 导读
美团 LongCat 团队开源 VitaBench 2.0,这是首个真实生活场景下面向长期动态用户建模的智能体评测基准,包含56名真实特征用户、819个复杂任务、超2000个动态偏好及66个可执行工具,平均每位用户交互事件达2093个、时间跨度1580天。
公众号:龙猫LongCat(美团)
精选
69
AI 编辑部评分,满分 100美团 LongCat 开源 VitaBench 2.0:长期动态智能体基准新标杆
美团 LongCat 团队开源 VitaBench 2.0,这是首个真实生活场景下面向长期动态用户建模的智能体评测基准,包含56名真实特征用户、819个复杂任务、超2000个动态偏好及66个可执行工具,平均每位用户交互事件达2093个、时间跨度1580天。
推荐理由
它将评测重心从单次任务转移到对用户偏好的长期追踪与主动沟通,实验显示主动提问和偏好利用仍是普遍短板,记忆策略并非简单叠加,这会改变智能体个性化研究的评估方法。
来源:公众号:龙猫LongCat(美团)· mp.weixin.qq.com