ARC Prize 分析 DeepSeek R1-Zero 与 R1 在 ARC-AGI-1 上的结果
ARC Prize 发布对 DeepSeek R1-Zero 和 R1 的分析,两者在 ARC-AGI-1 上分别得分 14% 和 15.8%,与 o1(低算力 20.5%)相当,而 o3-preview 低算力达 75.7%。
推荐理由:作者基于 ARC-AGI-1 实测数据比较 R1-Zero 与 o1/o3,提出纯 RL 训练可绕过人类标注瓶颈和推理经济学两个分析角度。
技术方向
开源模型、框架与仓库动态:权重开放、社区项目爆火、开源与闭源的力量消长。
646 条精选近 30 天 40 条共收录 3,514 条
ARC Prize 发布对 DeepSeek R1-Zero 和 R1 的分析,两者在 ARC-AGI-1 上分别得分 14% 和 15.8%,与 o1(低算力 20.5%)相当,而 o3-preview 低算力达 75.7%。
推荐理由:作者基于 ARC-AGI-1 实测数据比较 R1-Zero 与 o1/o3,提出纯 RL 训练可绕过人类标注瓶颈和推理经济学两个分析角度。
FireRedTeam 开源工业级 ASR 模型 FireRedASR,支持普通话、中文方言和英文,在公开普通话 ASR 基准上取得 SOTA,并具备歌词识别能力。
推荐理由:原文给出两个模型变体的架构差异和公开基准 CER/WER 对比数字,读者可据此评估选型。
Hugging Face 推出 smolagents,一个以代码形式编写动作的简单智能体库。原文正文缺失,仅标题可确认发布信息,详情以博客原文为准。
深度求索正式发布 DeepSeek-V3 模型,性能比肩世界顶尖模型,速度跃升,价格更新。
推荐理由:DeepSeek-V3 是 2024 年底国产模型的一次真正跃迁,首次亮剑就逼近闭源顶尖,开源权重更是直接改变了开发者生态。时隔一年半回头看,它仍是理解 DeepSeek 路径的起点。
Answer.AI 与 LightOn 联合发布 ModernBERT,这是一系列旨在取代 BERT 的 SOTA 编码器模型。该模型将 LLM 的最新架构改进(如 Flash Attention、RoPE)应用于编码器,支持 8192 token 上下文长度(远超传统 BERT 的 512),并在速度和下游任务性能上全面超越旧一代模型。提供 base (149M) 和 large (395M) 两种参数规模,已集成至 Hugging Face Transformers v4.48.0,可直接作为 BERT 类模型的即插即用替代品,适用于 RAG、分类及代码检索等场景。
推荐理由:这是六年来首个真正意义上对 BERT 架构的重大升级,解决了长上下文限制并提升了效率,对依赖编码器的 RAG 和搜索系统开发者具有直接的生产力价值。
ARC Prize 官方公布 2024 年获奖者并发布技术报告,共 1,430 支队伍提交 17,789 个方案,ARC-AGI-1 SOTA 从 33% 升至 55.5%,但 100 万美元大奖无人认领。
推荐理由:官方技术报告给出完整获奖方案与三类新方法总结,读者可以据此了解 ARC-AGI 分数提升背后的具体技术路线。
Prime Intellect 发布 INTELLECT-1,称其为首个全球协作训练的 10B 参数语言模型,基于 Llama-3 架构在 1T token 上训练 42 天,跨五国三洲最多同时使用 112 张 H100。
推荐理由:原文给出分布式训练的关键数字和 PRIME 框架细节,读者可以了解跨洲协作训练 10B 模型的可行性与工程代价。
ARC Prize 团队于 2024 年 10 月 24 日举办线上活动,说明为何单靠深度学习难以攻克 ARC-AGI,并提出结合深度学习与程序合成的技术路线。
推荐理由:Chollet 和 Knoop 系统论述 LLM 局限于记忆技能、需结合程序合成才能胜出 ARC-AGI 的技术路径,为理解智能与抽象层次提供了可迁移的分析框架。
DeepSeek-V2.5 保留原有 Chat 模型的通用对话能力和 Coder 模型的代码处理能力,并更好地对齐人类偏好。
推荐理由:DeepSeek首次将通用对话与代码能力合一的开源模型,当时直接拉低了多任务成本,今天看仍是模型混合能力演变的早期标杆。
Hugging Face 发布 Llama 3.1 系列模型,包含 405B、70B 和 8B 三个规格,支持多语言和长上下文。
通义 FunAudioLLM 团队开源基于 LLM 的 TTS 系统 Fun-CosyVoice 3.0,官方称在内容一致性、说话人相似度和韵律自然度上超越前代 CosyVoice 2.0,面向零样本多语言语音合成。
推荐理由:官方发布开源 TTS 新版本,附评测表、安装与部署方式,适合关注多语言语音合成落地的开发者参考。
SenseVoice 是一个语音理解基础模型,支持 ASR、语种识别、语音情感识别和音频事件检测。发布的 SenseVoiceSmall 检查点支持普通话、粤语、英语、日语和韩语,并输出情感与事件标签;采用非自回归端到端架构,同参数量级下推理速度比 Whisper-Small 快 5 倍以上、比 Whisper-Large 快 15 倍以上。
推荐理由:官方仓库文档同时给出基准对比、部署路径和微调方案,读者可以据此评估 SenseVoice 在中英文语音识别场景的可用性。
Google 推出新的开源大语言模型 Gemma 2,Hugging Face 发布博客介绍相关内容。
LlamaIndex 宣布开源框架 llama-agents 的 alpha 版发布,用于构建和部署生产级多智能体 AI 系统,可将每个 agent 变成独立运行的微服务。
推荐理由:官方发布开源多智能体框架 alpha 版,介绍了微服务架构、编排方式、监控工具和从本地到生产部署的具体用法。
ARC Prize 官方宣布启动一项总奖池超过 $1,000,000 的竞赛,目标是击败 ARC-AGI 评测并开源解决方案,由 Mike Knoop 和 François Chollet 主办。ARC-AGI 于 2019 年推出,当前 SOTA 仅约 34%,对人类容易但现代 AI 极难。官方认为 LLM 依赖记忆而非真正推理,希望通过激励开源研究提升新想法的产生速度。
推荐理由:官方说明了设奖动机和 ARC-AGI 为何未被刷分,读者可以了解百万美元奖金背后的开源 AGI 主张。
Zyphra 发布 7B 基础模型 Zamba,采用 Mamba 块加每 6 层共享权重的全局注意力层的混合架构。
推荐理由:官方原文给出架构设计、训练规模和开放 checkpoints 细节,读者可以据此评估 Mamba 混合架构在本地部署上的取舍。
LlamaIndex 发布 v0.10.0,是其 Python 包迄今最大更新。核心变化包括:拆出精简的 llama-index-core 包,数百个集成(150+ 数据加载器。
推荐理由:官方发布说明了包拆分、导入路径变化和迁移工具,正在迁移或维护 LlamaIndex 项目的开发者可以直接对照升级。
LlamaIndex 发布 AutoTranslateDoc,一款命令行工具,可从 GitHub 仓库抓取 .md 和 .mdx 文档,用 GPT-3.5、GPT-4 分块翻译并自动校验后合并输出。
推荐理由:工具通过分块翻译加多重校验来保证文档翻译质量,并支持差量更新,适合需要维护多语言文档的开发者参考。
LlamaIndex 推出 Llama Packs,一个社区驱动的预打包模块合集,用于快速启动 LLM 应用,已在 LlamaHub 上线 16+ 个与 Streamlit、Weaviate、Voyage AI 等伙伴合作的模板。模块可通过 CLI 或 Python 一行代码下载,支持开箱即用运行 RAG 管线,也可查看和修改全部代码,例如将默认 OpenAI LLM 替换为 Anthropic。
推荐理由:原文给出下载方式和代码示例,读者可以据此了解如何用预打包模块快速搭建 LLM 应用并自由定制。
Llama 2 发布,可在 Hugging Face 上获取。