热点事件 观察中

OpenAI发布GPT-6系列改进的提示词缓存系统,默认更高命中率并对30分钟窗口内复用前缀给折扣,同时推出缓存监控诊断等新工具

6 篇报道4 个报道来源

先了解这件事

事实说明

OpenAI宣布随GPT-6系列推出改进的提示词缓存系统,默认提供更高的缓存命中率,并对30分钟窗口内复用的符合条件共享前缀给予缓存折扣;同时引入Prompt Caching Dashboard、缓存诊断工具及更新指南等新工具与配置项,帮助开发者监控缓存性能、诊断未命中原因,并支持在不破坏缓存的情况下调整推理力度、稳定工具定义和预热缓存。GitHub Copilot与某公司CTO的成效引言作为配套佐证。

最新进展

OpenAI发布GPT-6系列改进的提示词缓存系统,默认更高命中率并对30分钟窗口内复用前缀给折扣,同时推出缓存监控诊断等新工具

报道时间线

沿着报道,了解事件的不同侧面。

显示 6 篇全部报道,最新在前
  1. X:洪明 (@hongming731)
    OpenAI 针对持续运行的 GPT-6 Agent 改进提示缓存:共享前缀 30 分钟内可复用,缓存输入最高享 90% 折扣

    OpenAI 针对持续运行的 GPT-6 Agent 改进提示缓存:共享前缀在 30 分钟窗口内可复用,缓存输入最高享 90% 折扣。新仪表盘与诊断工具能定位工具定义或输入变化造成的未命中,显式断点让开发者选择稳定上下文。

  2. X:洪明 (@hongming731)
    OpenAI 为 GPT-6 系列改进提示缓存:默认提高命中率、30分钟窗口复用共享前缀、缓存输入token折扣最高90%,并新增 Prompt Caching Dashboard 与诊断工具

    OpenAI 为 GPT-6 系列改进提示缓存,默认提高命中率,并允许在30分钟窗口内复用合格的共享前缀;缓存输入 token 折扣最高为90%,但折扣只针对实际命中的输入,不等于整次请求费用下降九成。新增的 Prompt Caching Dashboard 展示命中率随时间变化并区分已缓存与未缓存输入 token,诊断工具可比较某次请求与较近响应的模型、工具、设置或输入差异;OpenAI 示例中工具定义变化造成5,629个token未能复用。原文还给出把稳定指令与工具结构置于前缀、维持工具定义与顺序、使用 allowed_tools、追加新增指令、显式缓存断点与预热等做法,并说明 GPT-6 可通过追加配置更新改变后续推理强度同时保留可复用上下文。

  3. X:Rohan Paul (@rohanpaul_ai)
    OpenAI 增强 GPT-6 提示词缓存的可靠性与可控性,新增更高命中率、诊断、断点、预热及保持缓存的推理变更

    OpenAI 正在改进 GPT-6 的提示词缓存,使其更可靠、更可控,新增更高缓存命中率、诊断功能、断点、预热(prewarming)以及保持缓存的推理变更,并推出新仪表板展示缓存命中率及缓存与非缓存 token 用量。文中称这种前缀复用最多可将缓存输入 token 成本降低 90%,但作者同时指出高命中率仍部分取决于应用设计,仅靠改进的缓存不保证良好经济效益。

  4. X:OpenAI Developers (@OpenAIDevs)官方一手
    发布方称已改进 GPT-6 API 提示缓存,默认更高缓存命中率带来最高 90% 缓存输入折扣

    发布方以第一人称宣布已改进 GPT-6 API 中的提示缓存,称默认更高的缓存命中率使更多输入令牌可享受最高 90% 的缓存输入折扣,从而帮助 AI 代理运行更快、成本更低。原文未具名发布机构。

  5. OpenAI:官网动态官方一手精选
    OpenAI发布GPT-6系列改进的提示词缓存系统,默认更高命中率并对30分钟窗口内复用前缀给折扣,同时推出缓存监控诊断等新工具

    OpenAI宣布随GPT-6系列推出改进的提示词缓存系统,默认提供更高的缓存命中率,并对30分钟窗口内复用的符合条件共享前缀给予缓存折扣;同时引入Prompt Caching Dashboard、缓存诊断工具及更新指南等新工具与配置项,帮助开发者监控缓存性能、诊断未命中原因,并支持在不破坏缓存的情况下调整推理力度、稳定工具定义和预热缓存。GitHub Copilot与某公司CTO的成效引言作为配套佐证。

  6. OpenAI:官网动态官方一手精选
    OpenAI改进GPT-6提示词缓存,提供90%缓存输入token折扣,并获GitHub称Copilot响应更快

    OpenAI改进GPT-6提示词缓存,默认提高缓存命中率,并为缓存输入token读取提供90%折扣;同时提供Prompt Caching Dashboard、诊断工具、推理努力和工具开关保留上下文、显式断点等控制。GitHub报告称,过去几个月这些改进在数十亿次OpenAI模型请求中使需要重新处理的提示词token占比减少50%以上,帮助Copilot响应更快。

24 HOURS

本事件热度走势

当前热度 12

暂无可比热度趋势,待连续观测积累后展示。