跳到正文
2025年9月21日周日
  1. LMSYS Blog

    在 AMD GPU 上优化 FP4 混合精度推理

    针对 AMD Instinct MI250/MI300 系列 GPU 缺乏原生 FP4 矩阵乘法支持的问题,研究团队推出 Petit 内核集合,通过 FP16/BF16 × FP4 混合精度计算实现在现有硬件上高效运行 FP4 量化模型。该方案使 Llama 3.3 70B 端到端推理性能提升 1.74 倍,矩阵乘法操作较 AMD 官方 hipBLASLt 库快 3.7 倍。Petit 采用离线重排、LDS 无冲突访问及芯片拓扑感知分区等优化技术,已以 BSD 协议开源并集成至 SGLang 0.4.10 版本。

2025年9月12日周五
2025年9月10日周三
  1. LMSYS Blog

    SGLang HiCache:支持多种存储后端的快速分层 KV 缓存

    SGLang 发布 HiCache 分层 KV 缓存系统,通过 HiRadixTree 页表管理 GPU、CPU 及外部存储中的缓存数据,支持 Mooncake、3FS、NIXL 等多种后端。系统采用 GPU 辅助 I/O 内核和层间重叠机制加速数据传输,在 Qwen3-Coder-480B 编码场景中将 TTFT 降低 56%、吞吐量翻倍、缓存命中率提升至 80%;在 DeepSeek-R1-671B 部署中实现缓存命中时 TTFT 降低 84%,整体吞吐量最高提升 6 倍。

2025年9月8日周一
2025年9月4日周四
2025年8月28日周四
2025年8月27日周三
  1. Claude Platform:开发者版本说明61

    Claude Platform 发布 PHP SDK 测试版

    Claude Platform 于 8 月 27 日推出 PHP SDK 测试版。该 SDK 允许开发者通过 PHP 语言调用 Claude API,构建基于 Claude 的应用程序。

    推荐理由:Anthropic 给 PHP 开发者递了橄榄枝,beta 版 SDK 让 PHP 项目接入 Claude 更容易了,虽然量级不大但补上了生态缺口。

  2. LMSYS Blog

    SGLang 支持 gpt-oss:从 Day 0 支持到性能增强

    SGLang 针对 openai/gpt-oss-120b 发布重大性能优化,prefill 吞吐量提升 2.1 倍,decode 吞吐量提升 2.25 倍。新版本集成 FlashInfer 内核以释放 NVIDIA Blackwell 性能,通过 FlashAttention-3 加速 Hopper GPU,并原生支持 AMD MI350。在 B200 上 MXFP4 精度下单批次解码速度达 416.02 tok/s。同时引入 EAGLE3 投机解码支持,GPQA 基准测试验证精度与官方报告一致,确保高性能不损失推理能力。

2025年8月21日周四
  1. 公众号:DeepSeek80

    DeepSeek-V3.1 发布,迈向 Agent 时代的第一步

    DeepSeek 正式发布 DeepSeek-V3.1,采用混合推理架构,一个模型同时支持思考与非思考模式,官方 App、网页端及 API 均已同步升级。

    推荐理由:混合推理架构统一思考与非思考模式,Agent基准提升具体,API兼容Anthropic格式直接降低Claude Code接入门槛。

2025年8月15日周五
  1. 蚂蚁 inclusionAI:GitHub 新仓库58

    inclusionAI/UI-Venus

    UI-Venus 是一款本地 UI 智能体,仅以屏幕截图作为输入,即可执行精确的图形用户界面元素定位与高效导航。该代理无需依赖系统底层代码或辅助功能接口,直接通过视觉信息理解界面结构,实现自动化操作。其核心能力在于对任意应用或网页中的按钮、菜单、文本框等元素进行准确识别与交互,提升了跨平台任务执行的通用性与可靠性。

    推荐理由:蚂蚁这个纯截图驱动的 UI Agent 在当时算是早期探索,代码开源可直接用,做 GUI 自动化的值得看看底层怎么实现元素定位和导航。

2025年8月14日周四
2025年8月7日周四
  1. Hao AI Lab81

    [Lmgame Bench] 🔥 OpenAI 刚刚发布了两款开放权重的推理模型:gpt-oss-120B(约1170亿参数)和 gpt-oss-20B(约210亿参数),它们是自 GPT-2 以来首批开放权重的 OpenAI 模型。 我们在 Lmgame Bench 中对两者进行了测试,涵盖4款互动游戏: 🧱 推箱子 | 🟦 俄罗斯方块 | 🔢 2048 | 🍬 糖果传奇 以下是它们的排名(满分25分): → gpt-oss-120b → 第12名 → gpt-oss-20b → 第13名

    推荐理由:OpenAI 终于开源了,这是 GPT-2 之后第一次放开权重,120B 和 20B 两个尺寸直接对标 Llama 和 Qwen 的开源生态。虽然游戏 benchmark 排名不算惊艳,但信号本身比分数重要得多,所有基于开源模型做产品的团队都得重新评估选型。

2025年7月30日周三
2025年7月25日周五
  1. LMSYS Blog

    SGLang开源SpecForge:加速Eagle3投机解码训练

    SGLang团队开源SpecForge训练框架,专为Eagle3投机解码设计,原生集成SGLang推理引擎实现训推无缝衔接。框架内置Training-Time Test支持,提供Online与Offline双模式,分别适配低存储多GPU与高存储低GPU场景。基于ShareGPT和UltraChat 32万样本的实验显示,Llama 4 Maverick与Scout draft模型在MT-Bench上分别实现2.18倍与2.0倍推理加速。

2025年7月19日周六
2025年7月17日周四
  1. LMSYS Blog

    使用多 Token 预测(MTP)加速 SGLang:吞吐量提升 60% 的推理优化方案

    SGLang 推理框架现已支持多 Token 预测(MTP)技术,并与大规模专家并行(EP)、预填充-解码分离(PD Disaggregation)等特性无缝集成。该技术通过轻量级草稿模型预测多个未来 Token,再由完整目标模型并行验证,在保持生成质量不变的前提下,可将 DeepSeek V3 等模型的输出吞吐量提升高达 60%。在 16 张 H200 GPU 的小规模部署场景中,该方案显著优化了长序列推理效率,为生产环境提供即插即用的性能增益。

2025年7月16日周三
2025年7月10日周四
2025年7月9日周三
  1. LMSYS Blog

    slime:面向 RL 扩展的 SGLang 原生后训练框架

    slime 团队发布面向大规模 RL 训练的后训练框架 slime,原生集成 SGLang 推理引擎与 Megatron-LM 训练引擎。框架通过 sgl-router 提供可定制 rollout 接口与灵活训练配置,支持同地/解耦部署、同步/异步训练及 SFT 冷启动。用户可通过 OpenAI 兼容 API 与智能体环境交互,无需修改环境代码。框架完整支持 SGLang 优化参数(如 EP MoE、DP Attention)及 Megatron 并行策略(TP/PP/EP/CP),提供独立调试模式与检查点转换工具,基础镜像基于 lmsysorg/sglang:dev。

2025年7月8日周二
  1. LMSYS Blog

    OME:以模型驱动架构革新 LLM 基础设施

    Oracle Cloud Infrastructure 推出 OME(Open Model Engine),一款 Kubernetes-native 的模型服务框架。该系统采用模型驱动架构,通过 BaseModel、ServingRuntime 等自定义资源将模型视为一等公民,有效弥合 ML 工程师与生产团队之间的鸿沟。OME 将模型上线周期从数月压缩至数天,显著减少配置错误,并原生支持多节点推理、Prefill-decode 分离、Serverless 自动扩缩容及 Multi-LoRA 等企业级特性,集成 SGLang 运行时,实现复杂部署策略的编码复用与一键部署。

2025年6月28日周六
  1. Saining Xie

    metaquery 现已开源——数据和代码均已开放。

    引用Xichen Pan@xichen_pan

    The code and instruction-tuning data for MetaQuery are now open-sourced! Code: https://github.com/facebookresearch/metaquery Data: https://huggingface.co/collections/xcpan/metaquery-instruction-tuning-data-685b0f16d81ce54bcb7ea3a8 Two months ago, we released MetaQuery, a minimal training recipe for SOTA unified understanding and generation models. We showed that tuning few learnable queries can transfer the world knowledge, strong reasoning, and in-context learning capabilities inherent in MLLMs to image generation. With the training code now available, you can train MetaQuery yourself almost as easily as fine-tuning a diffusion model. We have also open-sourced our 2.4M instruction-tuning dataset. Sourced from web corpora, it offers diverse supervision beyond copy-pasting and unlocks many new exciting capabilities. Thanks @metaai for their support in making it open source!

2025年6月23日周一
  1. Prime Intellect61

    Prime Intellect 发布 SYNTHETIC-2 开源推理数据集与行星尺度流水线并行推理运行

    Prime Intellect 发布 SYNTHETIC-2,一个开源推理数据集,基于 DeepSeek-R1-0528 生成经过验证的推理轨迹,并启动行星尺度的流水线并行分布式推理运行。

    推荐理由:原文给出流水线并行推理与 TOPLOC v2 验证机制的细节,开源社区可据此了解如何用消费级 GPU 参与大规模推理贡献。

2025年6月22日周日
  1. Yann LeCun

    SandboxAQ 开源 SAIR 数据集,包含超500万个蛋白质-配体3D结构及结合亲和力标注,为目前最大规模开源结合亲和力数据集。基于NVIDIA DGX Cloud构建,现已在Google Cloud公开可用,旨在为药物发现AI模型提供训练与评估数据。

    引用SandboxAQ@SandboxAQ

    Today we’re releasing SAIR, the Structurally Augmented IC50 Repository. SAIR is the Largest Open-Sourced Binding Affinity Dataset with Cofolded 3D Structures. It includes more than 5 million protein-ligand structures, generated using our Large Quantitative Models and labeled with binding affinity data. By providing this unprecedented scale of structure-activity data, we aim to enable researchers to train and evaluate new AI models for drug discovery, bridging the historical gap between molecular structures and drug potency prediction. The SAIR dataset was created using the @nvidia DGX Cloud and is now publicly available on the @Google Cloud Platform. Access and build with SAIR today!  📰Read the Press Release: https://www.reuters.com/business/healthcare-pharmaceuticals/nvidia-backed-ai-startup-sandboxaq-creates-new-data-speed-up-drug-discovery-2025-06-18/ 📥Learn More and Download the Dataset at https://www.sandboxaq.com/sair #DrugDiscovery #LQMs #SAIR #AIforScience #SandboxAQ

2025年6月20日周五
  1. Yann LeCun

    SandboxAQ 发布开源数据集 SAIR(Structurally Augmented IC50 Repository),收录逾 500 万个共折叠蛋白质-配体 3D 结构及结合亲和力数据,为目前规模最大的开源结合亲和力数据集。数据由大型定量模型生成,旨在为药物发现 AI 模型提供高质量训练数据,弥合分子结构与药效预测间的鸿沟。该数据集基于 NVIDIA DGX Cloud 构建,现已在 Google Cloud Platform 公开发布,供全球研究人员下载使用。

    引用SandboxAQ@SandboxAQ

    Today we’re releasing SAIR, the Structurally Augmented IC50 Repository. SAIR is the Largest Open-Sourced Binding Affinity Dataset with Cofolded 3D Structures. It includes more than 5 million protein-ligand structures, generated using our Large Quantitative Models and labeled with binding affinity data. By providing this unprecedented scale of structure-activity data, we aim to enable researchers to train and evaluate new AI models for drug discovery, bridging the historical gap between molecular structures and drug potency prediction. The SAIR dataset was created using the @nvidia DGX Cloud and is now publicly available on the @Google Cloud Platform. Access and build with SAIR today!  📰Read the Press Release: https://www.reuters.com/business/healthcare-pharmaceuticals/nvidia-backed-ai-startup-sandboxaq-creates-new-data-speed-up-drug-discovery-2025-06-18/ 📥Learn More and Download the Dataset at https://www.sandboxaq.com/sair #DrugDiscovery #LQMs #SAIR #AIforScience #SandboxAQ

2025年6月16日周一
  1. LMSYS Blog

    在GB200 NVL72上部署DeepSeek 671B:PD与大规模EP架构实现2.7倍解码加速

    SGLang团队在GB200 NVL72集群部署DeepSeek 671B模型,采用预填充-解码分离(PD)与大规模专家并行(EP)架构,结合Blackwell专用优化组件(DeepGEMM、DeepEP等),实现单GPU解码吞吐7,583 tokens/秒。在2,000 token输入下,性能较H100提升2.7倍,整体加速比达2.5-3.4倍。系统利用NVLink全互联降低通信延迟,依托更大显存支持高批次处理,显著提升MoE模型推理效率。

2025年6月9日周一
2025年6月3日周二
  1. Hugging Face 社区博客64

    H Company 发布开源 Action VLM 系列模型 Holo1,驱动网页智能体 Surfer-H

    H Company 在 Hugging Face 上开源 Holo1 系列 Action VLM(含 Holo1-3B 和 Holo1-7B),用于网页 UI 理解与精确定位,其中 Holo1-7B 在常见 UI 定位基准上达到 76.2% 平均准确率。

    推荐理由:原文给出模型规格、定位精度和每任务成本数据,并附带 Transformers 用法,读者可直接评估其在网页自动化场景的可用性。

2025年5月29日周四
  1. 公众号:DeepSeek85

    DeepSeek-R1 更新至 0528 版本,推理能力显著增强

    DeepSeek 发布 R1 模型小版本升级 DeepSeek-R1-0528,在数学、编程与通用逻辑等基准测评中取得当前国内所有模型中首屈一指的成绩,整体表现接近 o3 与 Gemini-2.5-Pro。

    推荐理由:后训练投入增加带来的推理提升幅度,为开源社区提供了可蒸馏的高质量思维链,小模型也能接近大模型表现。

2025年5月22日周四
  1. Hacker News:AI 热帖

    将Agent封装为MCP服务器示例

    MCP Agent Server示例展示了将Agent工作流封装为MCP服务器的"Agent即服务"架构。提供asyncio(轻量级内存执行,适合开发测试)和Temporal(生产级持久化、支持暂停恢复)两种实现。通过装饰器暴露Agent能力,支持多Agent互操作,可与Claude Desktop等任意MCP客户端集成,实现复杂工作流的标准化封装与跨平台复用。

    推荐理由:展示 Agent 即 MCP 服务器新范式,支持多 Agent 协作与主流客户端集成

2025年5月5日周一
  1. LMSYS Blog

    技术博客:在96块H100 GPU上通过PD分离与大规模专家并行部署DeepSeek

    SGLang团队开源了基于96块H100 GPU(12节点×8卡)的DeepSeek推理系统实现,采用PD分离(Prefill-Decode Disaggregation)与大规模专家并行(EP)架构,集成DeepEP、DeepGEMM和EPLB完整功能,在2000 token输入序列下达成每节点每秒52.3k输入token和22.3k输出token的吞吐量。该方案较传统张量并行提升输出吞吐量5倍,将成本压缩至每百万输出token仅0.20美元,约为官方API价格的五分之一,是首个在开源实现中接近官方DeepSeek报告性能的大规模部署方案。

2025年4月24日周四
2025年3月25日周二
2025年3月21日周五
2025年2月28日周五
2025年2月27日周四
2025年2月26日周三
2025年2月25日周二
2025年2月24日周一
2025年2月21日周五