vLLM 推出原生 RL 权重同步 API 并修复异步 RL 死锁
vLLM 引入原生权重同步 API，将 RL 训练器到推理引擎的权重传输标准化为初始化、开始、更新、结束四阶段，采用可插拔 WeightTransferEngine 抽象，目前支持 NCCL 和 IPC 两种后端并支持 packed tensor 优化。
推荐理由：vLLM 官方说明原生权重同步 API 的四阶段设计与 DPEP 死锁修复，对搭建在线 RL 训练流程的团队有直接参考价值。
技术方向
部署工程 最新动态
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
667 条精选近 30 天 58 条共收录 4,407 条
更新
精选归档 · 第 22 页
vLLM 官方博客精选AI 评分6060 
Hao AI Lab@haoailab精选AI 评分7070
推荐理由：7秒钟出30秒1080p视频，而且完全开源，视频生成速度被拉到实时边缘，虽然B200不是人人有，但路线值得所有做视频产品的同行研究。
Liquid AI 模型与工程博客精选AI 评分7070 Liquid AI 发布端侧 MoE 模型 LFM2.5-8B-A1B
Liquid AI 发布端侧 MoE 模型 LFM2.5-8B-A1B，专为消费级硬件上的快速可靠工具调用打造，Base 和 post-trained 版本已在 Hugging Face 开放。
推荐理由：官方给出了与上一版和同类模型的对比数据，以及本地部署路径，适合评估端侧工具调用模型的选型。
Perplexity@perplexity_ai精选AI 评分6868推荐理由：Perplexity 开源的这个 tokenizer 能把 CPU 利用率砍掉五六倍，做实时推理的团队值得立马试试，对延迟敏感的场景是实打实的优化。
LangChain：Blog精选AI 评分6363 Lyft 如何用 LangGraph 和 LangSmith 构建自助式 AI 智能体客服平台
Lyft 的 SCX 数据科学与 MLE 团队基于 LangGraph 的 router 多智能体架构和 LangSmith 的追踪监控，搭建了让非技术领域专家独立开发 AI 客服智能体的自助平台。
推荐理由：Lyft 的自服智能体平台实践给出了可迁移的架构与提示词质量经验，适合正在搭建多智能体客服系统的团队参考。
Hugging Face 社区博客精选AI 评分6161 TRL 新增 Delta Weight Sync：通过 Hub Bucket 传输权重变化，每步从 1.2 GB 降至 20–35 MB
异步强化学习中，训练器每步需将完整模型权重（如1T参数checkpoint约1 TB）传输给推理引擎。TRL新增PR利用相邻RL优化步骤间约99%的bf16权重比特相同的特点，仅将变化的权重编码为稀疏safetensors文件，上传至Hugging Face Bucket并通知vLLM获取。在Qwen3-0.6B上，每步传输从1.2 GB降至20–35 MB。实验还展示了完全分离的训练场景：训练器、vLLM和Wordle环境分别位于不同机器和Hugging Face Space中，权重通过单个Hub bucket流动，无需共享集群、RDMA或VPN。
推荐理由：异步RL训练中权重同步的瓶颈被HuggingFace用稀疏增量方案解决了，带宽直接省了两个数量级，还给了可运行的TRL分支，做RL训练的可以直接上手试。
公众号：面壁智能精选AI 评分6464 AI 制造 AI：面壁智能发布并开源全球首个完全由 AI 编写的生产级训练框架 ForgeTrain
面壁智能联合清华大学、OpenBMB发布ForgeTrain，全球首个完全由AI编写、零人类代码介入的生产级大模型训练框架。在英伟达H100上训练速度超越Megatron 10%，节省10%算力；在华为昇腾上完整跑通预训练，并训出MiniCPM5-1B模型，综合性能在AA榜单2B规模以下Top1。框架及Agent Harness工具链一并开源。
推荐理由：面壁这波把 AI 写代码从玩具推进到了生产车间，ForgeTrain 跑得比英伟达 Megatron 还快 10%，而且直接在昇腾上训出了 MiniCPM5-1B，国产算力跟 AI 自举这两条线在这一刻交汇了，做训练的可以认真看看。
IT之家·人工智能精选AI 评分7070 消息称高通与字节跳动达成 AI ASIC 芯片合作，采购量在数百万颗级别
据彭博社报道，高通已与字节跳动达成 AI ASIC 合作协议，后者将采购数百万颗定制芯片为其 AI 服务提供算力支持。另一消息人士称，这笔交易将帮助字节跳动将已完成的内部芯片设计转变为生产就绪的半导体。高通此前表示将在今年向某超大规模云服务商交付首款 ASIC。
推荐理由：字节跳动数百万颗的采购量，意味着自研芯片落地不只是PPT，高通在ASIC定制上的生意也正式开张了，这会加速大厂从通用GPU转向定制芯片的浪潮。
Anthropic：Engineering精选AI 评分7070 我们如何对不同产品中的Claude进行隔离控制
Anthropic通过三重机制控制Claude智能体的部署风险，包括用户误用、模型异常行为和外部攻击。其防护策略聚焦于三个层面：通过沙箱、虚拟机和网络出口控制限制智能体运行环境；利用系统提示词和模型训练引导其行为；以及对MCP服务器、第三方插件等外部内容实施细粒度权限管理。文章以Claude Code、claude.ai和Claude Cowork为例，阐述了不同产品如何设计对应的隔离架构。
推荐理由：Anthropic 这次没画饼，实打实把 Claude 三款产品两年来的安全坑和架构演变全摊开讲了，从沙箱逃逸到钓鱼攻击，做 agent 的人读一遍能少踩很多坑。
LlamaIndex：产品、工程与评测精选AI 评分6161 LlamaIndex 发布 LiteParse v2.0：Rust 重写，支持 Rust、Python、Node、WASM 与 edge 运行时
LlamaIndex 发布 LiteParse v2.0，将这个不依赖 LLM 的 PDF 与办公文档解析工具用 Rust 重写，提供 Rust、Python、Node 和 WASM 四种包，可在浏览器和 edge 运行时本地运行。
推荐理由：官方用 Rust 重写后给出跨语言包、浏览器与 edge 运行时支持和具体提速数字，读者可据此评估现有文档解析管线是否值得迁移。
OpenRouter@OpenRouter精选AI 评分6969今天我们宣布完成由@CapitalGVC领投的1.13亿美元B轮融资。 过去6个月，随着AI从实验快速转向生产，OpenRouter的周处理量从5万亿增长到25万亿token。 我们对未来充满期待。
推荐理由：AI路由的头部玩家拿到1.13亿美金，每周调用量从5T涨到25T，这不是PR数字，是AI从实验走向生产的真信号。
IT之家·人工智能精选AI 评分7373 智谱GLM-5.1高速版发布：刷新全球大模型API速度纪录
5月22日，智谱向部分企业客户推出了旗舰大模型GLM-5.1的高速版API“GLM-5.1-highspeed”。该版本输出速度达400 tokens/s，刷新了全球大模型API速度上限。关键突破在于，它首次在国产大模型中实现了旗舰级能力与低延迟的结合，打破了“高速模型即轻量模型”的传统。该版本由智谱GLM团队与TileRT团队合作，通过系统级优化确保了速度的生产级稳定性，适用于AI编程、实时语音交互等场景。
推荐理由：智谱把旗舰模型拉到 400 tokens/s，还保持全尺寸能力，不是那种为快阉割的小模型。做实时交互、AI 编程的可以认真看看，延迟敏感场景的选型参数要重写了。
公众号：智谱精选AI 评分6363 智谱推出GLM-5.1高速版
智谱发布GLM-5.1高速版，推理速度达400 tokens/s，在顶尖模型中生成速度最快。
推荐理由：智谱把GLM-5.1做到了400 tokens/s，虽然发布已半个月，但这是国产模型在推理速度上的新标杆，做实时应用的可以看看。
Tomasz Tunguz 博客精选AI 评分6969 SpaceX的无限野心：AI企业集团
SpaceX在提交S-1文件后，展现为一家AI时代的企业集团。公司由三大业务构成：Starlink（星链）、太空业务与AI业务。2025年总营收达187亿美元。其中，星链是绝对的核心与现金引擎，贡献了61%的营收并实现39%的营业利润率。太空业务收入占比22%，而AI业务（含X平台与xAI）虽仅占17%且处于巨额投入阶段，但代表了未来的战略方向。整体上，星链的强劲盈利为公司的太空探索与AI雄心提供了关键的资金支持。
推荐理由：SpaceX的S-1文件罕见披露了AI业务的财务底牌，Tunguz的拆解很精炼，让你看懂Starlink怎么为烧钱的AI和Starship供血，太空AI算力这个叙事值得关注。
Claude：Blog精选AI 评分6565 Claude现已支持更多安全合规工具
Anthropic宣布为Claude企业版及平台新增28项安全与合规工具集成。这些集成均通过Claude Compliance API实现，允许企业安全团队统一获取Claude的对话内容与活动事件，从而将其纳入现有的DLP、SIEM等监控与合规流程。新增合作伙伴包括Cloudflare、CrowdStrike、Microsoft Purview等28家供应商，覆盖数据安全、身份验证等多个关键领域，帮助企业快速将Claude接入现有安全平台，实现跨组织工具的统一治理与可视化监控。
推荐理由：企业安全团队终于能像治理其他SaaS一样治理Claude了，28个主流安全工具集成，说明Anthropic认真在打企业牌，CSO们可以打开文档了。
Elon Musk@elonmusk精选AI 评分6969SpaceX正在为SpaceXAI积极招聘世界级工程师/物理学家，即使你此前没有任何AI经验。聪明的人能很快掌握。请发送邮件至ai_eng@spacex.com，附上约3个要点证明你的卓越能力。
推荐理由：Musk这招很反常识，不要AI经验只要聪明人，说明SpaceX的AI可能更重底层物理和工程，对有数理背景的人是条新路径。
公众号：智谱精选AI 评分7676 智谱联合驭驯网络与清华提出ZCube组网架构，破解大模型推理网络瓶颈
智谱、驭驯网络与清华大学联合提出并落地ZCube组网架构，以扁平化拓扑替代传统Clos/ROFT架构，从结构层面消除PD分离推理中的可避免拥塞。在GLM-5.1 coding生产环境千卡集群实测中，ZCube相比ROFT将GPU平均推理吞吐提升15%以上，TTFT P99降低40.6%，同时减少约三分之一的交换机与光模块成本。
推荐理由：架构创新不只是省钱，ZCube 在 GLM-5.1 集群里用三分之一交换机成本换来 15% 吞吐提升和 40% 尾时延改善，为 PD 分离推理提供了一条可复用的组网路径。
Modal 官方工程博客精选AI 评分6565 Modal 完成 3.55 亿美元 C 轮融资，估值 46.5 亿美元
Modal 宣布完成 3.55 亿美元 C 轮融资，投后估值 46.5 亿美元，由 General Catalyst 和 Redpoint 领投，Menlo、Bain Capital Ventures 和 Accel 新加入，自 9 月以来收入增长五倍，年化收入超过 3 亿美元。
推荐理由：官方披露融资数字、收入规模和 Sandbox 等业务占比，读者可以了解 Modal 的增长节奏与下一步投入方向。
- Elon Musk@elonmusk精选AI 评分8080
推荐理由：Elon 亲口确认 SpaceX 为 Anthropic 提供 AI 算力，还暗示正在对接其他公司，轨道数据中心是下一个叙事——这可能是云基础设施格局的重大变量。
Claude：Blog精选AI 评分5959 Anthropic销售负责人如何利用Claude Cowork管理4000个客户账户
Anthropic美国中端市场业务负责人Travis Bryant利用Claude Cowork自动化销售管理工作。该工具帮助他高效完成客户倾向性评分、每日客户简报准备及每周销售预测报告生成，每晚自动处理4000个账户数据，替代了以往跨部门团队需数百小时完成的工作。通过自动化日常任务调度，他每天节省约90分钟，并将数据整合为可交互的销售仪表板，使其能更专注于客户沟通与战略决策。
推荐理由：Travis 把 4000 个账户的评分一夜跑通，比自动报表更值得关注，中小销售团队照抄就能省掉跨部门数百小时，这是 Claude Cowork 在企业场景最落地的实践之一。