跳到正文
#开源生态
10月22日周四
  5. OpenRouter62

    OpenRouter 宣布 Recursive 的首个模型 Flint 上架，支持免费试用。该模型为开源权重 40B MoE（约 2.5B 激活），由其自动化研究系统 Eureka Machine 构建，面向编码智能体，具备 262K 上下文、推理和工具调用能力。Recursive 报告的成绩为 Terminal-Bench 2.1 54.9%、SWE-bench Pro v2 89.7%、SWE-bench Verified 74.2%；试用地址 https://openrouter.ai/recursive/flint-v1.0:free。

    引用Richard Socher@RichardSocher

    Introducing Flint, @Recursive_SI’s first model: a fast local coding model built with our automated research system, the Eureka Machine. • Best-in-class fast local coding • Up to 2x faster than comparable models: 125+ tokens/sec on a MacBook Pro, 150+ on RTX Spark • Built from scratch in under 4 months Private, unmetered intelligence on your own machine. Open weights available now on @huggingface, run it locally on your favorite framework or try it for free on @opencode or @pidotdev.

  6. MiniMax (official)56

    MiniMax 转发并致谢 SGLang 团队：SGLang-TorchTPU 由 SGLang 与 Google TPU 团队、Meta PyTorch 团队共建，可将 MiniMax H3、GLM-5.3 Flash、Kimi K3 等开源模型部署在 TPU 上，并已支撑 Meta 生产环境推理。Muse Spark Open 在 InferenceX 8K/1K、bs=1 下解码达 770 tok/s，项目已在 GitHub 开源。MiniMax 表示期待高效视频推理方向更多开源工作。

    引用SGLang@sgl_project

    Today we launch SGLang-TorchTPU, built with @Google TPU team and Meta @PyTorch team. We’re excited to see it powering production inference at Meta! SGLang-TorchTPU is a TPU plugin for SGLang that brings: - Top open models on TPU: Muse Spark Open, GLM-5.3 Flash, Kimi K3, Ling 3.1 Flash, MiniMax H3 - SGLang’s production features for large agentic workloads - Custom MegaKernel: Muse Spark Open hits 770 tok/s decode at bs=1 on InferenceX 8K/1K SGLang-TorchTPU is available now: http://github.com/sgl-project/sglang-torchtpu

  8. 🚨 AI News | TestingCatalog57

    Recursive 发布首个开源权重编码模型 Flint，采用 Apache 2.0 协议。Flint 是 40B 参数的 MoE 本地编码模型，号称比同类模型快 2 倍，在 64GB RTX Spark 上超过 220 tokens/秒，在 MacBook Pro 上达 125+ tokens/秒。其 Eureka Machine 自动研究系统通过编写自定义 GPU 代码，在不改权重的情况下将 Flint 在 RTX Spark 上提速 55%，权重已在 Hugging Face 开放。

    引用Richard Socher@RichardSocher

    Introducing Flint, @Recursive_SI’s first model: a fast local coding model built with our automated research system, the Eureka Machine. • Best-in-class fast local coding • Up to 2x faster than comparable models: 125+ tokens/sec on a MacBook Pro, 150+ on RTX Spark • Built from scratch in under 4 months Private, unmetered intelligence on your own machine. Open weights available now on @huggingface, run it locally on your favorite framework or try it for free on @opencode or @pidotdev.

  9. Rohan Paul64

    Recursive 发布首个模型 Flint，一个 40B MoE 本地编码模型，由其自动化研究系统 Eureka Machine 构建，从零开始用时不到 4 个月，权重以 Apache 2.0 开放。

    引用Richard Socher@RichardSocher

    Introducing Flint, @Recursive_SI’s first model: a fast local coding model built with our automated research system, the Eureka Machine. • Best-in-class fast local coding • Up to 2x faster than comparable models: 125+ tokens/sec on a MacBook Pro, 150+ on RTX Spark • Built from scratch in under 4 months Private, unmetered intelligence on your own machine. Open weights available now on @huggingface, run it locally on your favorite framework or try it for free on @opencode or @pidotdev.

  10. Thomas Wolf53

    Thomas Wolf 称自己对 AGI 的标准仍是 AI 拿诺贝尔奖，但称赞 Recursive_SI 的 Flint 敢于把通常建议保持高精度的 lm_head 量化到 4 bit，结果距 bf16 仅 0.7 个百分点且以开放权重发布在 Hugging Face hub。引用内容介绍 Flint 为快速本地编码模型，MacBook Pro 上 125+ tokens/sec、RTX Spark 上 150+ tokens/sec，从零构建用时不到 4 个月，开放权重现已在 Hugging Face 提供。

    引用Richard Socher@RichardSocher

    Introducing Flint, @Recursive_SI’s first model: a fast local coding model built with our automated research system, the Eureka Machine. • Best-in-class fast local coding • Up to 2x faster than comparable models: 125+ tokens/sec on a MacBook Pro, 150+ on RTX Spark • Built from scratch in under 4 months Private, unmetered intelligence on your own machine. Open weights available now on @huggingface, run it locally on your favorite framework or try it for free on @opencode or @pidotdev.

10月21日周三
  6. Saito75

    作者复盘 Strata 引擎如何让 12GB 显存跑 1250 亿参数的 Qwen 3.8 Flash Next，核心是专家缓存加 CPU 分工，prompt 读速最高达 llama.cpp 的 15 倍，写速同版本比约两到四倍。文章逐项核对倍速数据的版本口径，指出压缩版在三项高难度测试保留完整模型 99.4% 分数，但专家缓存会带来输出偏差，且 64GB 内存门槛下对比 API 价格未必划算。

  8. indigo37

    李飞飞在 Cloudflare Connect 2026 上表示，自己也是不少前沿闭源模型的满意用户，但开放生态的分量正变得越来越重。她给出两点理由：开放权重让创业者能站在其上创新，突破可能从任何地方冒出来；模型能力太强必须安全，而安全与危险的边界不能只交给忙着变现的公司判断，学术界、公共部门和政府都需能上手检验。她还批评动辄把“人类灭绝”挂在嘴边的技术讨论方式不负责任。

  9. meng shao83

    DeepSeek 开源支撑其线上生产服务的高性能推理框架 DeepInfer，基于 Apache 2.0 许可证，并同步发布技术报告。框架集成 FlashMLA、DeepGEMM、DeepEP 等此前开源内核，加上调度、并行、DSpark 投机解码等系统层实现，同时支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU。

    引用meng shao@shao__meng

    DeepSeek 居然把支撑他们大规模生产服务的高性能推理框架开源了：DeepInfer 这是 DeepSeek 线上真实跑 DeepSeek 服务的同源技术栈首次对外公开，本次发布聚焦离线推理，采用 Apache 2.0 许可证，主要基于 @vllm_project 构建，并借鉴了 @sgl_project 和 TensorRT-LLM。 开源地址：https://github.com/deepseek-ai/DeepInfer DeepSeek 此前已陆续开源了推理栈的“零件”：FlashMLA（MLA 注意力内核）、DeepGEMM（矩阵乘法内核）、DeepEP（MoE 通信库）、EPLB（专家负载均衡）等，但一直缺少把它们组装成完整引擎的“骨架”。DeepInfer 补上了这一环：它是这些内核的集成者，加上调度、并行、投机解码等系统层的完整实现。配合本次同时出现的 DeepSeek-V4.1-Flash 模型，构成了“模型 + 引擎”的完整开源推理方案。硬件层面同时支持 NVIDIA SM100 GPU 和华为昇腾 950 NPU，双平台支持是它的一个鲜明特征。 # 核心技术拆解 1. 内核与运行时。 集成 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect，以及用 TileLang 编写的自定义内核（位于 deepinfer/model_executor/layers/tilelang_ops）。这些是吞吐和延迟的底层保障。 2. 并行策略：Attention 与 MoE 分治。 注意力部分采用 DP（数据并行）或均衡的 CP（上下文并行，处理超长序列）；MoE 部分采用 EP（专家并行）加 EPLB（专家并行负载均衡），并支持冗余专家（默认 32 个，向上取整到能被 EP 数整除）来缓解专家负载不均。这种“注意力 DP/CP + MoE EP”的组合是 DeepSeek 生产验证过的架构。 3. DSpark 投机解码。 基于 MTP（multi-token prediction）draft token 加速解码，亮点是“置信度调度验证”；按置信度决定接受多少 draft token，而非固定规则。默认最大 draft 长度 5。这是推理加速比的主要来源之一。 4. YoCo SWA 有界重放。 针对 YoCo 式解码器 + 滑动窗口注意力（SWA）的优化：prefill 时只保留并重放有界的 token 后缀（默认 140 个，需覆盖 SWA 窗口加最大回溯长度），大幅削减 decoder prefill 的计算量。仓库还专门提供了 YoCo mask/compact 等价性验证。 5. 异步调度。 CPU 上的批调度与 GPU/NPU 上的执行重叠，做到“零开销调度器”，默认开启。 6. 批不变与确定性推理。 开启 DEEPINFER_BATCH_INVARIANT=1 后，不同批次组合下结果完全一致；再配合固定 seq_seed、关闭 MTP varlen，可实现逐 token 确定性的采样输出。这对可复现评测和回归测试（仓库用逐样本精确对比的 PPL 基线来把关）很关键，目前仅限 NVIDIA 平台。 7. 结构化输出。 原生支持 regex、JSON schema、EBNF 三种约束生成，通过 SamplingParams 的 so_args 传入。

    同一件事，精选收录的是《DeepSeek 全面开源内部推理框架 DeepInfer》

  10. Rohan Paul43

    EAGLE-4 在 27B 模型单请求下达到 863.8 tokens/s，为 DFlash 2 的 1.28 倍、DSpark 的 1.40 倍。它保留“草稿—验证”循环，改进集中在草稿侧：自适应草稿结构和更廉价的草稿 LM head，由小模型预猜多个 token、目标模型一次前向校验，输出结果不变，测试环境约快 3 倍。

    引用Eagle@EagleCorp

    EAGLE-4 is here. From EAGLE-1 to EAGLE-3, we’ve kept making inference faster. EAGLE-4 is our fastest yet. 961.6 tokens/s on @Alibaba_Qwen’s Qwen3.8-27B with TokenSpeed (BF16, 4× @NVIDIA B300, TP4, one request, T=0). Github: https://github.com/eagle-hq/EAGLE-4

  11. fal39

    我们很高兴与 @FireworksAI_HQ 合作，提前发布 EAGLE-4。 查看我们的技术博客，了解 EAGLE-4 的工作原理，以及它对创意工作流为何重要：https://blog.fal.ai/eagle-4-technical-deepdive/

    引用Eagle@EagleCorp

    EAGLE-4 is here. From EAGLE-1 to EAGLE-3, we’ve kept making inference faster. EAGLE-4 is our fastest yet. 961.6 tokens/s on @Alibaba_Qwen’s Qwen3.8-27B with TokenSpeed (BF16, 4× @NVIDIA B300, TP4, one request, T=0). Github: https://github.com/eagle-hq/EAGLE-4

  12. Hao AI Lab54

    ComfyUI 宣布支持 Hao AI Lab 的 FastH3 OmniRef，这是 MiniMax H3 的蒸馏版本，可进行多模态参考视频生成，能在本地硬件上运行。官方称其在质量与速度之间取得较好平衡，并开放了权重与云端入口。

    引用ComfyUI@ComfyUI

    FastH3 OmniRef by @haoailab's is now supported in ComfyUI. This distilled version of Minimax H3 allows multi-modal reference generation of videos. It runs locally on your hardware and provide great balance between quality and speed. Click the links below for open weights and cloud ⬇️

  13. Fireworks AI76

    Meta 开放权重模型 Muse Spark Open 上线 Fireworks 美国区 serverless

    Meta 的开放权重模型 Muse Spark Open 在 Fireworks 上线 Day-0 serverless，为 816B 参数 MoE 架构，每 token 激活 42B 参数，支持 1M token 上下文窗口。

    推荐理由：Fireworks 给出了 Muse Spark Open 在法律、金融、医疗等多个独立基准的具体分数和上线方式，读者可据此评估其在受监管工作中的适用性。

  14. Rohan Paul54

    SoMark 团队发布开源文档解析模型 OXR（1.3B 参数），将 PDF 和文档图像转为含布局坐标的 Markdown 或 JSON 的 Agent-Friendly 数据。

    引用SoMark@somarkai

    Beyond OCR. Meet OXR. Only 1.3B. Open source. #1 on olmOCR-Bench, OmniDocBench & DocParsingBench🏆 #1 in parsing speed among open-source models⚡ RSI-powered. A first in document parsing. Turn documents into Agent-Friendly data. If OXR helps, give us a star on GitHub! 🌟

10月20日周二
  2. Google Developers Blog71

    Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎

    Google 在 PyTorch 相关公告中推出基于 TorchTPU 的 vLLM 和 SGLang 原生 PyTorch 推理引擎，分别与 Inferact、RadixArk 合作开发，让开发者用熟悉的 PyTorch 工具在 TPU 上部署模型。

    推荐理由：原文给出两套 PyTorch 原生 TPU 推理引擎的功能清单、公开基准成本和开源入口，读者可据此评估把现有 PyTorch 服务栈迁到 TPU 的可行性。