跳到正文
  1. 数字生命卡兹克68

    作者分享受邀参加英伟达 RTX Spark 全球开售活动后,深度使用一周华硕 ProArt 创16(128G 统一内存+1T,京东售价 37999 元)的体验,开售时 128G 版本在京东几分钟内被抢空。

    推荐理由:作者亲测 RTX Spark 上的本地模型部署路径,并把整套流程封装成 WorkBuddy 专家,读者可以照着复现本地 Token 自由的用法。

  1. 公众号:数字生命卡兹克67

    卡兹克实测37999元RTX Spark轻薄本:一周实现本地Token自由

    数字生命卡兹克分享华硕ProArt创16(RTX Spark N1X芯片、128G统一内存、37999元)的一周深度使用体验,该机全球开售时128G版本在京东几分钟内被抢空。

    推荐理由:作者用一周实测讲清了如何在128G统一内存的RTX Spark笔记本上部署本地模型,并给出可复用的WorkBuddy专家整合流程。

  1. Apple Machine Learning Research60

    Apple 演示用 MLX 与 RDMA 在 Mac Studio 集群本地运行 816B 大模型

    Apple 机器学习研究团队演示如何在 Mac Studio 上本地运行近万亿参数的 Muse Spark Open 等前沿模型,使用今天发布的新版 MLX(v0.30.1 起)与 macOS 26.2 的 RDMA over Thunderbolt 驱动。

    推荐理由:Apple 给出了在 Mac Studio 集群上跑 816B MoE 模型的并行方案与基准数据,可迁移到本地大模型部署实践。

  1. Databricks:Blog61

    Databricks 讲解如何在 AI Runtime 上将 Qwen 3.8 27B 微调时间缩短 6 倍

    Databricks 演示通过系统性性能优化,将 Qwen 3.8 27B 在 AI Runtime 上的微调时间从 7 小时 44 分钟降至 1 小时 17 分钟,提速 6 倍。

    推荐理由:原文给出从定位瓶颈到融合内核与数据打包的完整优化路径和量化结果,读者可迁移到自己的 LLM 微调任务。

  1. Anthropic:Engineering72

    Anthropic 自研版本控制系统 Scion,五个月完成 monorepo 从 git 迁移

    Anthropic 发布工程复盘,因 Claude 使日均合并代码量从 2026 年 5 月约 2,500 增至 9 月超 30,000,五个月内自研版本控制系统 Scion 并完全替代 git,同时推出代码评审工具 Antique。

    推荐理由:Anthropic 自建版本控制系统 Scion 的完整复盘,给出面向智能体规模负载的设计原则、架构细节和实测收益,可迁移到其他大规模仓库场景。

  1. LangChain:Blog61

    LangChain 发布 langchain-scaledown 集成,用 ScaleDown 约束解码模型管理长时智能体上下文

    LangChain 发布 langchain-scaledown 集成,并在 LangSmith LLM Gateway 中支持 ScaleDown 的约束解码模型(CDM),用于降低长时智能体上下文管理的成本和延迟。

    推荐理由:文章给出 ScaleDown 约束解码模型与 LangChain、Deep Agents 中间件的具体配置方法,读者可以按场景迁移用于压缩智能体上下文。

  1. Comfy Blog66

    如何在单张 RTX 5090 上用 MiniMax H3 生成实时视频

    ComfyUI 博客作者用智能体搜集各类优化,把 MiniMax H3 实时视频生成压缩到单张 RTX 5090(32 GB 显存)上运行,生成 30 秒视频耗时 23.51 秒,达 1.28 倍实时吞吐。

    推荐理由:原文给出单张 RTX 5090 实现实时直播视频生成的完整优化清单和开源节点,读者可复现这套压成本思路。

  1. vLLM 官方博客63

    vLLM 详解 DeepSeek-V4.1-Flash 优化:Agent 场景吞吐提升 5 倍

    Inferact 与 vLLM 社区在 DeepSeek-V4.1-Flash 发布三周内完成优化,低并发速度提升 1.9 倍,150 TPS 约束下吞吐提升 5.3 倍。

    推荐理由:vLLM 团队拆解了 SWA bounded replay 和一系列内核优化,说明五倍吞吐提升具体来自哪里,方法可复用于其他 Agent 服务场景。

  1. Baseten 工程博客64

    Baseten 工程师实测:LLM 生成的推理引擎比 vLLM 快最多 90%

    Baseten 工程师参考 MetaInfer 论文,让 Claude Code(Fable 5)为 Qwen-3.6-35B-A3B(NVFP4,单张 B200)自动构建推理引擎 VibeQwen,单流解码比 vLLM 0.25.1 快 90%,首 token 从 28ms 降至 12ms,并发 32 时吞吐高 71%。

    推荐理由:作者亲测用智能体生成定制推理引擎,给出了相对 vLLM 的具体性能数据和成本,可帮助读者评估自动优化的实际可行性。

  1. OpenRouter:Announcements67

    OpenRouter 教程:如何在 CI 中用 LLM eval 门禁拦截 Pull Request

    OpenRouter 发布教程,讲解如何用固定的 eval 集在 CI 中门禁 pull request,当通过率低于阈值时脚本以非零退出码阻止合并,做法与单元测试门禁一致。

    推荐理由:原文给出了从脚本到 GitHub Actions 的完整可复现流程,并强调了路径过滤须放 job 层、阈值应实测等易错点。

  2. OpenRouter:Announcements67

    OpenRouter 发布 Agent 模型成本与质量权衡选型框架

    OpenRouter 发布一个三步框架,用于为 Agent 任务选出以最低成本达到质量门槛的模型,而不是按排行榜排名选最高分模型。方法是先按任务设定质量门槛,再用 20 到 50 条自己的示例运行廉价、中档和前沿模型并用统一评分标准计算每质量点成本,最后选出以超过运行间分数波动的余量过线的最便宜模型。

    推荐理由:原文给出可复用的三步选型方法,读者可以据此按任务质量门槛测量并选出成本最低的够用模型。

  3. OpenRouter:Announcements68

    OpenRouter 指南:用置信度阈值实现模型分级升级路由

    OpenRouter 发布教程,讲解如何让廉价模型通过结构化输出返回 0 到 1 的置信度字段,低置信度的请求再升级到更强模型。文章强调置信分数只是自报、不是校准概率,应基于自己流量的分数段错误率排序设定阈值,并在上线后监控分数分布、升级率和未升级答案的错误率持续调整。

    推荐理由:原文给出按置信度分数分级路由的完整做法,读者可以照着在自己流量上校准阈值并权衡准确率、成本和延迟。

  1. vLLM 官方博客62

    vLLM 分离式推理(Disaggregated Serving)实用指南

    vLLM 官方博客发布分离式推理实用指南,讲解 vLLM v0.30.0 及以上版本中 prefill/decode 分离、无 GPU render 前端及两者组合的原理与运行方法。

    推荐理由:作者来自参与开发的 IBM Research,给出 P/D 与 render 拆分的收益数据、适用场景表和可复用运行方法。

  2. OpenRouter:Announcements65

    OpenRouter 教程:如何从生产流量构建 golden 评测集并跨模型复测

    OpenRouter 发布教程,讲解如何从生产流量构建 golden 评测集,作为每次部署前的回归测试。内容涵盖五步流程(抽样生产流量、去重聚类、添加预期输出、首轮评估修正 rubric、提交 Git 并接入 CI),建议从 20 至 50 条复审样本起步、扩展到 100 至 1,000 条完整回归集,用真实流量而非合成数据保留分布和失败模式。

    推荐理由:原文给出从生产流量构建 golden 评测集的五步流程和跨模型复测方法,可直接照做。

  3. OpenRouter:Announcements69

    OpenRouter 教程:提示词或模型变更后如何对 AI Agent 做回归测试

    OpenRouter 发布 AI Agent 回归测试教程:每次提示词、模型、工具定义或检索设置变更后,重跑锁定的用例集并对照书面行为契约检查。

    推荐理由:原文给出可复用的 Agent 回归测试方法,包括锁定用例集、行为契约、具体模型 slug 固定和模型切换对比的完整做法。

  1. Databricks:Blog65

    Databricks 如何让 12000 名员工在模型发布首日用上新前沿模型

    Databricks 分享其让全部员工在模型发布首日即可试用新模型的内部流程,依托 Unity Gateway 做配置分发、治理与可观测性。流程分三步:立即以实验标签开放新模型、用四类按人预算控制成本、再依据内部基准、用户反馈和 OpenTelemetry 成本追踪决定推广或下线。

    推荐理由:Databricks 以自家 12000 名员工的实际 rollout 为例,给出可复用的新模型评估、预算分层与成本度量方法。

  1. Anthropic:Claude.dev 开发者博客67

    Anthropic 介绍用 Claude Code 与 claude-api skill 自动化评测设计与 hillclimbing

    Anthropic 在 claude-api skill 中新增 /claude-api build-eval 和 /claude-api hillclimb 两个命令,前者在代码库内通过访谈式流程构建评测集并验证 grader,后者以一次一改动、train/test 分离并检测过拟合的方式迭代优化应用。

    推荐理由:Anthropic 官方讲解了评测设计的关键原则,并给出 build-eval 和 hillclimb 两个命令的用法与真实优化案例,可迁移到自己的应用调优。

  1. Hacker News:AI 热帖86

    Claude Opus 5.5 提示词指南:与 Opus 5 的行为差异及迁移模式

    Anthropic 官方文档介绍针对 Claude Opus 5.5 的提示词模式,覆盖 effort 校准、无人值守智能体运行、安全拒绝、进度更新、多应用工作流、视觉输入和前端设计等场景。

    推荐理由:官方文档梳理了从 Claude Opus 5 迁移到 5.5 时的具体提示词与 harness 调整点,可直接对照排查现有集成的问题。

  2. LangChain:Blog63

    LangChain 讲解如何用 Jev 和 LangGraph 构建生产级智能体

    LangChain 发布教程,讲解如何结合 TypeSafe 新发布的决策模型 Jev 与 LangGraph 构建“prod, not god”的生产系统。

    推荐理由:文章用文档审查和浏览器自动化案例演示了决策模型加 LangGraph 的组合方式,读者可以借鉴把确定性代码与模型判断拆开编排的思路。