跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱:推理加速、显存与成本、服务部署与基础设施选型。

667 条精选近 30 天 66 条共收录 4,396 条

更新

精选归档 · 第 3 页

10月1日周四第 41–60 条
  1. OpenRouter:Announcements67

    OpenRouter 发布 Agent 模型成本与质量权衡选型框架

    OpenRouter 发布一个三步框架,用于为 Agent 任务选出以最低成本达到质量门槛的模型,而不是按排行榜排名选最高分模型。方法是先按任务设定质量门槛,再用 20 到 50 条自己的示例运行廉价、中档和前沿模型并用统一评分标准计算每质量点成本,最后选出以超过运行间分数波动的余量过线的最便宜模型。

    推荐理由:原文给出可复用的三步选型方法,读者可以据此按任务质量门槛测量并选出成本最低的够用模型。

  2. OpenRouter:Announcements68

    OpenRouter 指南:用置信度阈值实现模型分级升级路由

    OpenRouter 发布教程,讲解如何让廉价模型通过结构化输出返回 0 到 1 的置信度字段,低置信度的请求再升级到更强模型。文章强调置信分数只是自报、不是校准概率,应基于自己流量的分数段错误率排序设定阈值,并在上线后监控分数分布、升级率和未升级答案的错误率持续调整。

    推荐理由:原文给出按置信度分数分级路由的完整做法,读者可以照着在自己流量上校准阈值并权衡准确率、成本和延迟。

9月30日周三
  1. IT之家·人工智能82

    Anthropic 与 SpaceX 签署最高 845 亿美元算力协议,可提前 90 天通知解除

    Anthropic 与 SpaceX 签署算力协议,据路透社查阅的 IPO 申报文件,合同金额上限最高达 845 亿美元,用于租用 SpaceX 数据中心内的英伟达 GPU。

    推荐理由:原文基于 SEC 申报文件给出合同金额、月费与解约条款等具体细节,读者可了解 Anthropic 算力采购的实际安排。

  2. OpenRouter:Announcements65

    OpenRouter 教程:如何从生产流量构建 golden 评测集并跨模型复测

    OpenRouter 发布教程,讲解如何从生产流量构建 golden 评测集,作为每次部署前的回归测试。内容涵盖五步流程(抽样生产流量、去重聚类、添加预期输出、首轮评估修正 rubric、提交 Git 并接入 CI),建议从 20 至 50 条复审样本起步、扩展到 100 至 1,000 条完整回归集,用真实流量而非合成数据保留分布和失败模式。

    推荐理由:原文给出从生产流量构建 golden 评测集的五步流程和跨模型复测方法,可直接照做。

  3. OpenRouter:Announcements69

    OpenRouter 教程:提示词或模型变更后如何对 AI Agent 做回归测试

    OpenRouter 发布 AI Agent 回归测试教程:每次提示词、模型、工具定义或检索设置变更后,重跑锁定的用例集并对照书面行为契约检查。

    推荐理由:原文给出可复用的 Agent 回归测试方法,包括锁定用例集、行为契约、具体模型 slug 固定和模型切换对比的完整做法。

  4. OpenAI:官网动态86

    OpenAI 发布 GPT-6.1 Sol,以约五分之一价格接近 GPT-6 Astra 智能

    OpenAI 发布 GPT-6.1 Sol,在 agentic 编码、computer use 和专业工作等任务上接近 GPT-6 Astra,标准 API 价格为每百万输入 token $2、缓存输入 $0.10、输出 $10,约为 Astra 五分之一。

    推荐理由:官方公布了与 GPT-6 Astra 的多项基准对比和完整 API 定价,开发者可以据此评估用五分之一成本替代旗舰模型的可行性。

9月29日周二
  1. Databricks:Blog65

    Databricks 如何让 12000 名员工在模型发布首日用上新前沿模型

    Databricks 分享其让全部员工在模型发布首日即可试用新模型的内部流程,依托 Unity Gateway 做配置分发、治理与可观测性。流程分三步:立即以实验标签开放新模型、用四类按人预算控制成本、再依据内部基准、用户反馈和 OpenTelemetry 成本追踪决定推广或下线。

    推荐理由:Databricks 以自家 12000 名员工的实际 rollout 为例,给出可复用的新模型评估、预算分层与成本度量方法。

9月28日周一
  1. Anthropic:Claude.dev 开发者博客67

    Anthropic 介绍用 Claude Code 与 claude-api skill 自动化评测设计与 hillclimbing

    Anthropic 在 claude-api skill 中新增 /claude-api build-eval 和 /claude-api hillclimb 两个命令,前者在代码库内通过访谈式流程构建评测集并验证 grader,后者以一次一改动、train/test 分离并检测过拟合的方式迭代优化应用。

    推荐理由:Anthropic 官方讲解了评测设计的关键原则,并给出 build-eval 和 hillclimb 两个命令的用法与真实优化案例,可迁移到自己的应用调优。

  2. Hacker News:AI 热帖86

    Claude Opus 5.5 提示词指南:与 Opus 5 的行为差异及迁移模式

    Anthropic 官方文档介绍针对 Claude Opus 5.5 的提示词模式,覆盖 effort 校准、无人值守智能体运行、安全拒绝、进度更新、多应用工作流、视觉输入和前端设计等场景。

    推荐理由:官方文档梳理了从 Claude Opus 5 迁移到 5.5 时的具体提示词与 harness 调整点,可直接对照排查现有集成的问题。

9月26日周六
9月25日周五
  1. GitHub Blog64

    GitHub 如何通过迁移 CSS Modules 将 SSR 时间降低 55%

    GitHub 工程师 Josh Black 复盘将 Primer 设计系统从 CSS-in-JS 迁移到 CSS Modules 的历程。截至 2024 年 12 月 Primer 全部组件迁移完成,服务端渲染时间减少 55%,组件初始化时间减少 25%。

    推荐理由:原文给出大厂从 CSS-in-JS 迁移到 CSS Modules 的完整路径和量化收益,可迁移到类似的前端架构改造。

  2. Anthropic:Claude.dev 开发者博客78

    Opus 5.5 上一个任务要花多少钱:Claude Code 成本拆解

    Anthropic 工程师 Addy Osmani 拆解 Opus 5.5 在 Claude Code 中完成任务的成本构成:turns、缓存读取、输出 token 和模型选择四个因素决定账单。Opus 5.5 输入输出价格比 Opus 5 降 20%,缓存读取降 60%,官方估算典型任务整体运行成本低 40%;文中还给出 effort 分级、缓存命中率维护、/usage 自查等省钱做法。

    推荐理由:原文拆解了 Opus 5.5 上一个任务的账单构成,并给出 effort、缓存、压缩等可自查可迁移的成本优化方法。

  3. LangChain:Blog60

    LangSmith 发布 Engine v2、Managed Deep Agents v0.8、Trajectories、Fine-Tuning 及 Custom Apps

    LangChain 在 Interrupt NYC 上发布多项 LangSmith 更新:Engine v2 新增 Red Teaming 主动排查、检测性能趋势与低效工具调用,并可自动验证修复后一键开 PR,自 5 月上线以来已分析超过 60M 条 traces。

    推荐理由:官方一次性发布覆盖开发闭环的多个功能,读者可据此评估自家 agent 生产流程哪些环节能用得上。

  4. vLLM 官方博客66

    vLLM 新增基于 Gumbel-max 的无失真文本水印功能

    vLLM 宣布支持基于 Gumbel-max 算法的无失真水印,将其集成进 Model Runner v2 的采样管线,并通过 PR #54053、#56122、#56233 实现融合 GPU kernel、双键方案和上下文去重,以兼容投机解码并保持输出多样性。

    推荐理由:原文给出水印算法原理、双键与去重方案及实测吞吐数据,读者可评估在生产环境启用水印的可行性与代价。

9月24日周四
  1. 公众号:蚂蚁百灵67

    蚂蚁开源 Ming-Image-0.1-Design 系列:两个 6B 模型打通设计生成与图层编辑

    蚂蚁百灵开源 Ming-Image-0.1-Design 系列模型,包含两个 6B 模型:Design 从文字需求生成 UI、信息图、海报等完整设计,Layer 将设计图拆成 2 至 9 个可独立编辑的 RGBA 图层,并同步开源 Design Skill 和 PPT Skill。

    推荐理由:原文给出两个 6B 模型的能力划分、评测成绩和实际接入效果,读者可以据此评估设计生成加图层编辑链路的部署价值。