Answer.AI 与 LightOn 发布 ModernBERT 编码器模型,支持 8192 序列长度并全面超越 BERT
Answer.AI 与 LightOn 发布 ModernBERT 编码器模型系列,提供 base(149M 参数)和 large(395M 参数)两个规格,可作为 BERT 类模型的直接替代。
推荐理由:原文详细披露了架构改进、训练数据和实测效率数字,读者可据此评估它在现有 BERT 类工作流中能否直接替换。
内容类型
各家新模型的发布、开源与迭代:旗舰更新、开源权重放出、能力与价格变化。
831 条精选近 30 天 65 条共收录 3,849 条
Answer.AI 与 LightOn 发布 ModernBERT 编码器模型系列,提供 base(149M 参数)和 large(395M 参数)两个规格,可作为 BERT 类模型的直接替代。
推荐理由:原文详细披露了架构改进、训练数据和实测效率数字,读者可据此评估它在现有 BERT 类工作流中能否直接替换。
Answer.AI 与 LightOn 联合发布 ModernBERT,这是一系列旨在取代 BERT 的 SOTA 编码器模型。该模型将 LLM 的最新架构改进(如 Flash Attention、RoPE)应用于编码器,支持 8192 token 上下文长度(远超传统 BERT 的 512),并在速度和下游任务性能上全面超越旧一代模型。提供 base (149M) 和 large (395M) 两种参数规模,已集成至 Hugging Face Transformers v4.48.0,可直接作为 BERT 类模型的即插即用替代品,适用于 RAG、分类及代码检索等场景。
推荐理由:这是六年来首个真正意义上对 BERT 架构的重大升级,解决了长上下文限制并提升了效率,对依赖编码器的 RAG 和搜索系统开发者具有直接的生产力价值。
推荐理由:DeepSeek 开源 VL2 视觉模型,3B 轻量版可端侧部署,MoE 架构支持动态图像分块
DeepSeek 将 deepseek-chat 模型升级为 DeepSeek-V2.5-1210,各项能力提升。数学能力在 MATH-500 基准测试中从 74.8% 提升至 82.8%,代码能力在 LiveCodebench (08.01 - 12.01) 基准测试中从 29.2% 提升至 34.38%。新版本还优化了文件上传和网页总结功能的用户体验。
推荐理由:DeepSeek把deepseek-chat数学拉到82.8%,代码涨了5个点,做复杂推理的开发可以试试水,但这还是V2.5系列的常规升级,别当次代际跃迁。
Prime Intellect 发布 INTELLECT-1,称其为首个全球协作训练的 10B 参数语言模型,基于 Llama-3 架构在 1T token 上训练 42 天,跨五国三洲最多同时使用 112 张 H100。
推荐理由:原文给出分布式训练的关键数字和 PRIME 框架细节,读者可以了解跨洲协作训练 10B 模型的可行性与工程代价。
DeepSeek 上线推理模型预览版,其推理性能与 OpenAI 的 o1-preview 相当,并公开了模型的完整思维链。
推荐理由:虽然已是旧闻,但 DeepSeek 首次公开推理模型完整思维链,对理解 o1 类模型的内部机制是个重要线索,做推理模型研究的值得回看。
Mistral AI 发布基于 Mistral Large 2 的 124B 开源权重多模态模型 Pixtral Large,在 MathVista 达到 69.4%,在 ChartQA、DocVQA 上超过 GPT-4o 和 Gemini-1.5 Pro。
推荐理由:官方发布了多模态模型的基准成绩与开放下载渠道,也说明了许可证类型,适合想对比前沿多模态能力或自部署的读者参考。
Mistral AI 发布面向端侧和边缘场景的两款模型 Ministral 3B 与 Ministral 8B,称其在 10B 以下级别创下知识、常识、推理、function-calling 和效率的新前沿。
推荐理由:官方发布明确了两款端侧小模型的上下文长度、API 定价和许可证范围,读者可直接评估其本地部署与 Agent 调用场景的适用性。
Liquid AI 发布第一代 Liquid Foundation Models(LFM),包含 1.3B、3.1B 和 40.3B MoE(激活参数 12B)三个语言模型,官方称在各规模上取得同级领先质量。
推荐理由:官方发布了三档模型的基准数据和内存表现,并说明非开源决定与边缘部署定位,读者可据此评估是否试用。
Mistral 发布开源多模态模型 Pixtral 12B,以 Apache 2.0 许可提供,可作为 Mistral Nemo 12B 的直接替换。
推荐理由:官方发布开源多模态模型,给出了架构细节、MMMU 分数和统一评测对比,可作为同规模开源模型选型的参考。
OpenAI 发布 o1 模型,官方公告题为 Introducing OpenAI o1。本次抓取未获取到正文,更多细节以官方公告页 https://openai.com/index/introducing-openai-o1-preview 为准。
OpenAI 发布 o1-mini 模型,定位为推进成本高效的推理能力。官方页面暂未披露更多细节。
推荐理由:OpenAI 官方宣布 o1-mini,定位为更具成本效益的推理模型,可作为了解其推理系列布局的入口。
DeepSeek-V2.5 保留原有 Chat 模型的通用对话能力和 Coder 模型的代码处理能力,并更好地对齐人类偏好。
推荐理由:DeepSeek首次将通用对话与代码能力合一的开源模型,当时直接拉低了多任务成本,今天看仍是模型混合能力演变的早期标杆。
DeepSeek 将 V2 Chat 与 Coder V2 合并升级为 V2.5,API 用户通过 deepseek-coder 或 deepseek-chat 均可访问。新模型在通用与代码能力上显著提升,ArenaHard winrate 升至 76.3%,HumanEval 达 89%。
推荐理由:DeepSeek 把 coder 和 chat 合并成 V2.5,API 端点不变但性能全线拉高,已有的集成直接受益,代码和通用能力不再是两张皮。
DeepSeek 将 deepseek-coder 模型升级为 DeepSeek-Coder-V2-0724。此次升级为模型版本更新,具体参数规模、性能基准及可用性细节未在更新日志中披露。
推荐理由:DeepSeek Coder 升级到 V2-0724,编码能力再进一步,对 API 用户是直接可用的提升,虽然官方没给技术细节,但仍值得关注。
Mistral 发布 Mistral Large 2(版本 24.07,API 名 mistral-large-2407),123B 参数、128k 上下文窗口,支持数十种语言和 80 多种编程语言。
推荐理由:官方给出参数量、许可证、基准表现与开放渠道,读者可以据此评估该模型在性能成本和多语言场景中的位置。
Hugging Face 发布 Llama 3.1 系列模型,包含 405B、70B 和 8B 三个规格,支持多语言和长上下文。
OpenAI 官网宣布发布 GPT-4o mini,定位为推进高性价比智能的新模型。
Mistral AI 与 NVIDIA 联合发布 12B 模型 Mistral NeMo,支持最高 128k tokens 上下文窗口,base 与 instruct 权重以 Apache 2.0 许可开源。
推荐理由:原文给出 12B 模型的上下文窗口、压缩效率与基准对比,并说明与 Mistral 7B 的替换关系,便于评估其在中小模型场景的可用性。
Mistral 发布 Mamba 架构代码模型 Codestral Mamba,采用线性时间推理,可免费使用、修改和分发。模型具备高级代码与推理能力,性能与 SOTA Transformer 模型相当,已测试最高 256k tokens 的上下文检索能力,共 7,285,403,648 参数。
推荐理由:官方说明了 Mamba 架构在线性推理时长和长序列上的优势,以及 256k 测试、部署渠道和许可证差异,可据此判断适用场景。