跳到正文
#部署/工程
10月13日周二
  3. LangChain：Blog61

    LangChain 发布 langchain-scaledown 集成，用 ScaleDown 约束解码模型管理长时智能体上下文

    LangChain 发布 langchain-scaledown 集成，并在 LangSmith LLM Gateway 中支持 ScaleDown 的约束解码模型（CDM），用于降低长时智能体上下文管理的成本和延迟。

    推荐理由：文章给出 ScaleDown 约束解码模型与 LangChain、Deep Agents 中间件的具体配置方法，读者可以按场景迁移用于压缩智能体上下文。

  4. IT之家·人工智能32

    Astera Labs 发布“计算无关”机架架构 Orion：开放式、模块化设计

    Astera Labs 发布“计算无关”机架参考设计 Orion，基于开放标准、采用模块化结构，用户可按需搭配算力组合。Orion 含机架、计算托盘、交换托盘、内存托盘、连接板、计算板六大生产级参考架构，核心是 320 通道 PCIe Switch，每个 pod 最多支持 160 块加速器。该设计将于 2027Q1 起通过 Astera Labs 的 OEM 和 ODM 合作伙伴提供。

  6. IT之家·人工智能39

    SK 海力士发布 SSD 专用处理器架构 H-TPU，功耗仅为传统 CPU 的 2.5%

    SK 海力士推出 SSD 专用处理器架构 H-TPU，采用简化四级流水线，占用面积仅为通用 CPU 核心的 1/25，功耗约为 2.5%。该架构将控制功能拆分为数十个小型 TPU 集群，计划应用于下一代 eSSD 控制器及 AI 存储架构 Storage Next，并预计与明年发布的 HBF 高带宽闪存形成协同效应。

  7. Apple Machine Learning Research37

    Minions：基于闲置 Apple Silicon 设备构建的动态分布式虚拟 GPU 云

    Apple 研究团队提出 Minions，一个将多台 macOS 设备上闲置的 Apple Silicon GPU 聚合起来、执行大规模机器学习推理的动态分布式虚拟 GPU 云。该系统支持灵活的 GPU 推理任务执行、容错和高效资源利用，让团队无需额外采购 GPU 即可利用现有硬件。经验表明，在集中式 GPU 资源受限的环境中，闲置 macOS 设备可转化为实用的分布式 GPU 推理平台。

  9. Aravind Srinivas59

    Perplexity CEO Aravind Srinivas 宣布每个 Perplexity Project 都是一个 Git 仓库，团队为此构建了面向智能体的 Git forge。每个智能体在自己的短期沙箱中工作并提交到 S3 上的共享仓库，提交冲突低于 2%。智能体用 `ls` 和 `grep` 检索，在金融文档分析任务上答案准确率 63% 对 37%，优于语义搜索。

    引用Perplexity@perplexity_ai

    This is how we built the filesystem behind Perplexity Projects as a Git forge for agents. Each agent works in its own sandbox and commits to a shared repository where people and other agents can build on its work across sessions. Read more: https://www.perplexity.ai/hub/blog/building-shared-workspaces-for-people-and-agents

  12. Meta Engineering Blog39

    Meta 如何将闲置 AI 推理容量转化为更好的广告推荐

    Meta 构建了一套系统，把分散在各团队配额、区域和加速器类型中的闲置推理容量聚合成共享的机会容量池，用于广告推荐。系统通过 Rank More Ads（RMA）调整排序阶段评估的候选广告数量、Serve Better Models（SBM）调整路由到更强模型的请求比例这两个弹性杠杆，在不影响基线服务的前提下扩展可选工作负载，并借助物理与逻辑隔离及价值感知的降载机制在容量被突然回收时优雅降级。

10月12日周一
  2. 🚨 AI News | TestingCatalog41

    DigitalOcean 推出 Signals、Simulations、Insights 公开预览，以及 Agent Data Services 私有预览。Signals 可读取实时智能体流量并标记出错会话，如工具调用成功但查询了错误区域；用户可将被标记会话转为测试，由 Simulations 用拟议修复重放整段对话。

    引用DigitalOcean@digitalocean

    Catch it at the first user, not the four-hundredth. A new user’s bank link fails, the agent says “try again later,” and nothing shows up in the logs. Watch a team find the bug and fix it before anyone else hits it, with Agent Learning Services and Agent Data Services, launching today.

  4. Mustafa Suleyman65

    Microsoft 宣布加大自研芯片投入，明年起将 Maia 系列扩展至多吉瓦级部署，作为自家产品和服务的主力推理系统。新款 Maia 300 比领先 GPU 系统每瓦 token 高出 40%，Maia 200 已在美国、欧洲和澳大利亚部署，在 Teams 和 Copilot 场景中每瓦 token 提升最高 1.7x。

    引用Satya Nadella@satyanadella

    今天，我们宣布迄今为止在自研芯片上最大的一笔押注。 从下一个自然年开始，我们将把 Maia 系列扩展到多吉瓦级部署规模，使其成为我们自有产品和服务的首要推理系统。 同时，我们推出 Maia 300，与领先的基于 GPU 的系统相比，每瓦可多提供 40% 的 token。 我们已在美国、欧洲和澳大利亚部署 Maia 200，在 Teams 和 Copilot 的各项体验中，每瓦可多提供高达 1.7 倍的 token。 我们的目标是在我们已经看到的全栈效率提升基础上继续发展，同时持续将整个生态系统中的最新创新引入我们的集群。

    同一件事，精选收录的是《微软发布自研芯片 Maia 300 并将大规模扩展 Maia 推理部署》

  7. Satya Nadella65

    微软宣布明年起将 Maia 芯片家族扩展到多吉瓦级部署，作为自家产品和服务的首选推理系统，并发布 Maia 300，每瓦 token 产出比主流 GPU 系统高 40%。Maia 200 已在美国、欧洲和澳大利亚部署，在 Teams 和 Copilot 场景中每瓦 token 产出提升最高 1.7x。

    推荐理由：作者本人官宣自研芯片路线，给出了 Maia 300 与 Maia 200 的能效数字和部署范围，可对比主流 GPU 方案的取舍。

  10. Browser Use49

    什么是浏览器指纹识别？原理与局限解析

    浏览器指纹识别通过收集 user agent、语言、屏幕尺寸、字体、canvas 与 WebGL 渲染、音频处理等信号，组合后经哈希函数生成紧凑标识，用于在 cookie 被删除后仍能识别回访浏览器。它分为被动式（HTTP 头、IP、TLS 握手）与主动式（JavaScript 采集）两类，常用于追踪用户、防欺诈和检测机器人，但相似浏览器可能撞车、浏览器更新也会改变结果。

10月11日周日
10月10日周六
  1. meng shao66

    作者整理了 llama.app 的推理概念文档（https://llama.app/docs/prefill-vs-decode），提出核心框架：Prefill 阶段并行读入 prompt、瓶颈在算力，Decode 阶段逐 token 自回归、瓶颈在内存带宽。

    引用merve@mervenoyann

    if you want to get every last bit of performance out of your local setup, you need to know a bit about inference 🥵 but we've got you covered, shipping conceptual guides 🔥 here's the first one about prefill, decode, KV cache what you should optimize for 🙌🏻

  2. MiniMax (official)37

    MiniMax M3 现已在 NVIDIA Vera Rubin NVL72 上通过 vLLM 运行！🙌 感谢 @vllm_project、@inferact、@NVIDIAAI、@RedHat_AI 将 MiniMax M3 带到 Rubin。

    引用vLLM@vllm_project

    vLLM now supports NVIDIA Vera Rubin. The early results show more than 7.8x the throughput of GB200 on MiniMax M3 on AgentX. @inferact, @NVIDIAAI, @RedHat_AI, and the vLLM community have been bringing vLLM up on Rubin since it was announced. Here is where things stand. 🧵 1/5

10月9日周五