跳到正文
10月22日周四
10月21日周三
  1. OpenAI:官网动态58

    ChatGPT Ads 扩展至 26 个新国家,全球覆盖达 89 国

    OpenAI 将 ChatGPT Ads 扩展至 26 个新国家,覆盖范围增至全球 89 国。上线约八个月已有超过 10 万广告主投放,每周超 12 亿人使用 ChatGPT。广告仅在 Free 和 Go 套餐展示,Plus、Pro 和 Enterprise 保持无广告;OpenAI 表示不会向广告主出售用户数据,广告不影响 ChatGPT 的回答。

  2. Tibo65

    OpenAI 开发者账号宣布 API 现已可选 12 小时 prompt 缓存,持续运行的智能体可在请求间隔数小时的情况下继续以更低的缓存输入费率复用指令、工具和上下文。Tibo 补充称,Codex 与 Work 中已登录用户的缓存会永久保留,返回旧对话或数小时后恢复会话保证命中缓存,且无额外惩罚。

    引用OpenAI Developers@OpenAIDevs

    你现在可以在 API 中选择 12 小时提示缓存。 持久化 agent(如 dots)会在一天中重复使用上下文。 你可以将共享的指令、工具和上下文缓存更长时间,并支付更低的缓存输入费率,即使请求相隔数小时。

    推荐理由:作者亲述 API 12 小时缓存与 Codex、Work 侧持久缓存策略,可直接判断对长时间运行 Agent 成本和体验的影响。

  3. Fireworks AI76

    Meta 开放权重模型 Muse Spark Open 上线 Fireworks 美国区 serverless

    Meta 的开放权重模型 Muse Spark Open 在 Fireworks 上线 Day-0 serverless,为 816B 参数 MoE 架构,每 token 激活 42B 参数,支持 1M token 上下文窗口。

    推荐理由:Fireworks 给出了 Muse Spark Open 在法律、金融、医疗等多个独立基准的具体分数和上线方式,读者可据此评估其在受监管工作中的适用性。

  4. Databricks:Blog62

    Databricks 发布 MemCurrent 生产级 Agent 持久记忆架构

    Databricks 介绍 MemCurrent,一种面向生产 Agent 的持久记忆架构,结合情景记忆与派生记忆,通过插件、工具调用和离线 dreaming 管线三种访问模式读写与整合记忆,已用于 Agent Bricks Memory 和 Genie。

    推荐理由:原文给出完整设计、消融和成本数据,读者可以据此评估生产级 Agent 记忆架构的选型与收益。

10月20日周二
  1. Google Developers Blog71

    Google 发布 vLLM 与 SGLang 的 TorchTPU 原生推理引擎

    Google 在 PyTorch 相关公告中推出基于 TorchTPU 的 vLLM 和 SGLang 原生 PyTorch 推理引擎,分别与 Inferact、RadixArk 合作开发,让开发者用熟悉的 PyTorch 工具在 TPU 上部署模型。

    推荐理由:原文给出两套 PyTorch 原生 TPU 推理引擎的功能清单、公开基准成本和开源入口,读者可据此评估把现有 PyTorch 服务栈迁到 TPU 的可行性。

  2. IBM Research:AI60

    llm-d 1.0 发布:Kubernetes 原生分布式推理服务走向生产就绪

    IBM、Red Hat 和 Google 等主导的开源推理项目 llm-d 在 PyTorch Conference North America 上发布 llm-d 1.0,这是一个 Kubernetes 原生的分布式推理服务框架,支持任意模型、任意加速器和任意云。

    推荐理由:原文给出 llm-d 1.0 的具体能力变化和实测成本数据,读者可据此评估自建推理基础设施是否划算。