跳到正文
Meta AI:Research Blog·· 1 小时前精选AI 评分79

Meta 发布 Muse Wonder 与 Muse Wonder Full 模型,主打个人与专业智能体能力

Muse Wonder

AI 导读

Meta 发布 Muse Wonder 系列模型,称其在个人与专业智能体任务上达到 SOTA 性能。Muse Wonder 现已通过 Meta Model API 和 Muse Code 提供,Muse Wonder Full 面向 Muse Code 订阅者开放。

正文 · AI 翻译

研究人员介绍 Muse Wonder 并讨论其能力。播放位置0:00 / 0:00

一款在个人与专业智能体方面领先的前沿模型

今天,我们很高兴推出 Muse Wonder 系列,包括 Muse Wonder 和 Muse Wonder Full,这是我们能力最强的模型,在个人和专业智能体任务上实现了最先进的性能。它们共同标志着我们扩展阶梯上的下一步,也是迈向个人超级智能的重大飞跃。Muse Wonder 将 Active Memory 与 Active Focus 结合在一起,以跟踪对你重要的事项,并为你想要完成的目标不懈努力。

Muse Wonder 即日起可通过 Meta Model API 和 Muse Code 使用,Muse Wonder Full 即日起面向 Muse Code 订阅用户提供。

Muse Wonder 很快将为 Muse 中的体验提供支持,并将首先向订阅用户推出。Muse Wonder 还将为需要更高智能的工件生成和流程提供支持。未来,我们将使用 Muse Wonder 开发专用模型,通过 Muse 带给所有人。

迈向个人超级智能的扩展

十四个月前,我们开始对人工智能工作进行彻底的全面改革。在此期间,我们从第一性原理重建技术栈,一路推进到前沿。

当我们推出 Muse Spark 时,我们概述了实现可预测、严谨扩展的方法。今天的发布建立在这项工作之上,涵盖预训练和强化学习,交付了我们迄今为止能力最强的模型。Muse Wonder 和 Muse Wonder Full 在我们千兆瓦级的 Prometheus 数据中心训练,汇聚了 Meta 各团队的工作,为工作和日常生活中的复杂任务提供前沿能力——这是朝着将个人超级智能带给数十亿使用我们产品的人迈出的又一步。

前沿能力

模型亮点

Muse Wonder 系列在个人和专业智能体、记忆以及编程的关键基准测试中取得了最先进的结果。

以下完整结果在广泛的评估套件中将 Muse Wonder 和 Muse Wonder Full 与其他前沿模型进行了比较。

有关我们评估的更多详情,请参阅我们的报告。

以上结果提供了模型性能的总体概览。现在我们进一步审视对其在现实世界任务中工作至关重要的四个领域:领域专业知识、Active Memory、Active Focus 和前沿编程。

领域专业知识

Muse Wonder 和 Muse Wonder Full 将专业知识应用于人们在工作和日常生活中遇到的问题,从理解租约到解读财务或健康信息。我们的评估包括法律、金融和健康领域的任务,以测试这一能力。例如,Harvey 的法律智能体基准(LAB)要求模型处理源文档并遵循详细指令,以产出法律工作成果。

Active Memory

迈向有用的个人和专业智能体的最关键步骤之一,是可靠的记忆。模型需要记住重要事项,并识别早期信息何时变得相关。我们称之为 Active Memory:在对话之间携带关于你的重要上下文,并主动检索与当前任务相关的细节。

Active Focus

利用这些上下文来完成任务同样需要持续的努力。主动专注描述了 Muse Wonder 如何持续朝着一个具有挑战性的目标努力:尝试替代方法、突破障碍,并适应新信息。在此过程中,它会在需要时请求澄清,并在采取重要行动前进行确认。我们通过 FocusBench 评估专注力,通过 SWE-Marathon 评估持续执行能力,后者测试在长期运行的软件项目上的工作表现。

前沿编程

编程将这些能力汇聚在一起。构建软件需要跟踪需求、在代码库中进行修改,并经历反复的测试与修订循环。Muse Wonder 和 Muse Wonder Full 提供前沿的编程性能,支持从小型应用到复杂软件的各种项目。我们在多样化的长期任务上训练了这两个模型,以帮助它们在这一过程中保持进展。

正在加载演示

Muse Wonder 根据可自定义的图像输入构建一个可玩的 3D 厨房游戏。

可泛化的能力

两个模型往往具有相似的基准分数,但其中一个似乎能处理范围广泛得多的陌生任务。这正是“刷榜”的抱怨和对“大模型味”的赞誉所指向的:一种在少数领域的热门基准无法完全捕捉的能力广度。

为了量化这种不匹配,我们研究了随着测试时计算规模的扩大,后训练期间所针对任务的性能与陌生任务性能之间的关系。下图比较了 Muse Spark 1.3 和 Muse Wonder Full,每个点表示在一种不同推理努力程度下的性能。横轴显示模型在我们后训练期间所关注任务(“分布内”)的代表性综合得分。纵轴显示模型在我们后训练期间未针对的一组任务(“分布外”)上的平均得分。

随着测试时计算规模的扩大,我们的两个模型在分布外任务上都取得了相似的提升。但考虑到其分布内性能,Muse Wonder Full 在陌生任务上的表现甚至比 Muse Spark 1.3 趋势所预测的还要好。这种向上偏移是因为 Muse Wonder 和 Muse Wonder Full 建立在更大、更强的基础模型之上:更强的基础模型带来的后训练收益能更有效地迁移到陌生任务上。这种通用性对个人智能体尤为重要,因为它们需要处理目标、工具和约束的许多组合——而这些并非我们都能在训练期间预见。

周六跑步计划智能体演示的屏幕录制。播放位置0:00 / 0:00

Muse Wonder 直接在浏览器中并跨应用工作,根据个人偏好和情况构建跑步计划(地图数据 © OpenStreetMap 贡献者)。

前沿安全

向所有人提供个人超级智能需要对对齐和安全进行重大投入。个人智能体会代表用户采取行动,并可能处理消息、日历和私人文档等上下文。这种级别的访问权限要求模型对私人信息谨慎处理并抵御滥用。我们训练 Muse Wonder 系列在这两个维度上都处于领先,具备对对抗性指令的鲁棒性以及对私人信息的谨慎处理。

随着模型能力不断增强,我们的目标是帮助人们安全、负责任地驾驭这些能力。Muse Wonder 提供了我们迄今为止针对 CBRN(化学、生物、放射和核)及网络滥用最强大的防护措施,同时根据我们的 Meta Superintelligence Scaling Framework,保留对前沿网络能力的防御性使用权限。

Muse Wonder 是我们迄今为止对齐程度最高的模型,而对齐是我们构建个人超级智能的核心。包含更多安全评估的完整报告即将发布。

我们希望 Muse Wonder 和 Muse Wonder Full 能让更多人拥有追求梦想、构建理想世界的力量。这是迈向人人可享的个人超级智能的重要技术一步,未来还有更多值得期待。

在旁白介绍 Muse Wonder 时,人们追求个人与职业目标。播放位置0:00 / 0:00

来源:Meta AI:Research Blog · research.meta.ai