跳到正文
10月18日周日
10月16日周五
10月15日周四
10月14日周三
  1. Rohan Paul41

    RouterPlus 把多个团队的需求聚合成一个大单与推理服务商谈价,各团队按自身流量份额享受该费率,让小团队无需成为大买家也能拿到批量定价。它还会用你的真实用量测试模型,挑出够用且成本最低的那个,避免每个任务都付费调用顶级模型。该产品来自 YC F26,已上线。

    引用Alok Bishoyi@alokbishoyi97

    Getting your inference right shouldn't be hard. @useRouterPlus (YC F26) is live: the right model and provider for your workload, at the best price. check out : https://routerplus.com/capacity

10月12日周一
10月8日周四
  1. O'Reilly Radar42

    AI 栈中的保存缺口:为什么能力进步快于可重建性

    O'Reilly Radar 文章提出 AI 系统存在"保存缺口":运行时依赖(模型端点、检索数据、策略、工具契约等)在执行时才确定,现有基础设施只保存模型、代码、部署和观测记录,不保存某次执行的实际绑定关系。作者为此提出参考架构 Orrery,用于保存重建 AI 系统历史执行所需的运行时绑定与依赖状态,并区分了"可复现性"与"可重建性"两个概念。

  2. meng shao52

    邵猛转发阿里「AI Native 研发范式实践手册」结尾的四点官方陈述并逐条评论:从写代码到可靠交付仍有技术问题要解决、企业知识资产尚未 Agent 友好、组织设计影响深远更难有确定性答案、AI 迭代速度会持续冲击现有架构。

    引用meng shao@shao__meng

    假期第四天,继续学习阿里的「AI Native 研发范式实践手册」 今天看到「Agent 运行环境」中的 Sandbox 部分,介绍了阿里开源的 OpenSandbox,顺手搜了一下各云服务厂商开源的 Sandbox,如果你的 Agent 需要可以具体选择使用。 只搜索筛选了部分开源 Sandbox,如果大家有其他选择欢迎评论补充 🤝 1. 腾讯云 CubeSandbox https://github.com/TencentCloud/CubeSandbox 国内生产级自建优先,基于 KVM MicroVM,具备控制面、集群调度、网络与凭据策略、快照能力,并兼容 E2B SDK 2. 阿里 OpenSandbox https://github.com/opensandbox-group/OpenSandbox 功能覆盖面较完整,支持 Docker/Kubernetes、多语言 SDK、MCP、浏览器和桌面等 agent 执行环境能力 3. 字节跳动 AIO Sandbox https://github.com/agent-infra/sandbox 快速搭建 browser、Shell、文件系统、VS Code、Jupyter 与 MCP 一体化 agent 工作环境,主要采用 Docker 容器形态 4. 字节跳动 SandboxFusion https://github.com/bytedance/sandboxfusion 适合 LLM 代码执行、Online Judge、代码评测和强化学习数据集运行,支持多语言及部分 GPU 运行时 5. AWS Firecracker https://github.com/firecracker-microvm/firecracker 适合自建高隔离、多租户 agent 执行平台的 MicroVM 底座,需自行建设调度、文件服务、快照管理和 agent SDK 等上层能力 6. Google gVisor https://github.com/google/gvisor Google 开源的容器安全 Sandbox 运行时,通过用户态 application kernel 与 `runsc` 为 Docker/Kubernetes 工作负载提供更强隔离;适合已有容器平台、希望以较低启动和资源成本承载不可信 agent 代码的场景

  3. Pragmatic Engineer58

    Pragmatic Engineer 播客对话 Sam Newman:微服务、弹性系统与 AI 时代的软件架构

    Pragmatic Engineer 播客发布与 Sam Newman 的访谈,其新书 Building Resilient Distributed Systems 印刷版于 10 月 7 日上市。Newman 将分布式计算八大谬误归结为三条规则,并讨论幂等键与指纹两种幂等方案、弹性四概念,以及 AI 时代的多供应商对冲、模块化架构和避免对 AI 的认知投降。

10月4日周日
10月3日周六
10月2日周五
10月1日周四
9月29日周二
9月28日周一
9月26日周六
9月25日周五
9月24日周四
9月23日周三
9月22日周二
  1. Tomasz Tunguz 博客66

    Tomer Tunguz 谈 AI 优化 if-then 判断:专用决策器把分类成本降近百倍

    Tomer Tunguz 撰文提出最新一波 AI 正在接管软件中的 if-then 判断原语,Jev 与 SemIf 这类专用决策器以数百毫秒返回结果,成本比传统生成式调用低约 76x 到 209x。作者在自己的 Agent 中替换了约四分之一的调用,在 98 条人工核验的生产邮件线程上,Jev 达到 80%、本地 SemIf 达到 82% 的分类准确率,高于生产模型的 47%。

    推荐理由:作者结合自身 Agent 的替换实验给出成本与准确率对比,为判断专用小模型何时可替代前沿模型提供参照。

9月21日周一
9月20日周日
  1. Rohan Paul64

    Bending Spoons CEO Luca Ferrari 表示,公司约 99% 的 AI 请求和 token 运行在自托管的开源权重模型上,成本基本只有少量云端费用。约 1% 的请求走闭源前沿模型 API,只用于最复杂任务,或像资深工程师检查初级工程师那样自动复核开源模型的产出。

    引用Molly O’Shea@MollySOShea

    BREAKING: Only ~1% of Bending Spoons’ AI requests & tokens goes to frontier models. 99% runs on self-hosted open-weight models. CEO Luca Ferrari on the shift to Sovereign AI: “We end up using open-weight models we self-host, so these are basically free. I mean, there is a little bit of cloud cost, but for 99% of the requests and tokens.” “And the frontier models, generally closed weight, through APIs for maybe 1% of the requests, only for the most complex tasks.” “Sometimes we use them automatically to check the work that got done by the slightly less intelligent models, as a more senior engineer would with a more junior engineer.”

9月18日周五
  1. Rohan Paul64

    智谱(Zai)分享 GLM-5.3 帮助构建并优化 GLM-5.3-Flash 推理基础设施的过程,系统从首次成功运行到生产就绪用时不到两周,端到端吞吐相对初始基线提升至 3 倍。

    引用Z.ai@Zai_org

    We’re sharing how GLM-5.3 helped build and optimize the inference infrastructure serving GLM-5.3-Flash. The system went from its first successful run to production readiness in less than two weeks, with end-to-end throughput tripling relative to the initial baseline. The key was dense feedback: local correctness tests, execution traces, microbenchmarks, and end-to-end measurements that enabled targeted hypothesis testing rather than reliance on aggregate performance metrics alone. https://z.ai/blog/glm-built-its-inference-infrastructure

9月17日周四
  1. jietang64

    唐杰撰文称,GLM-5.3 驱动的 Infra Agent 用两周时间让 GLM-5.3-Flash 在国产加速器上从首次运行到承接全部生产流量,端到端吞吐达 3.2 倍。

    引用Z.ai@Zai_org

    We’re sharing how GLM-5.3 helped build and optimize the inference infrastructure serving GLM-5.3-Flash. The system went from its first successful run to production readiness in less than two weeks, with end-to-end throughput tripling relative to the initial baseline. The key was dense feedback: local correctness tests, execution traces, microbenchmarks, and end-to-end measurements that enabled targeted hypothesis testing rather than reliance on aggregate performance metrics alone. https://z.ai/blog/glm-built-its-inference-infrastructure

  2. GitHub Blog87

    GitHub 用 Copilot 智能体将 Copilot 运行时从 TypeScript 迁移到 83 万行 Rust

    GitHub 工程师 Stephen Toub 复盘用 Copilot 智能体在约 14.5 周内将 Copilot agent runtime 从 TypeScript/Node.js 全量重写为 832,378 行生产 Rust,AI 智能体完成大部分代码,共 128 个 PR 增量合入 main 并持续发布。

    推荐理由:当事工程师复盘用 AI 智能体在数月内将 Copilot 运行时迁往 Rust 的全过程,策略、回归样本和成本数据对同类迁移有直接参考价值。

9月15日周二
  1. Claude:Blog66

    Anthropic 工程师复盘:智能体编程压力下如何扩展测试影响分析服务

    Anthropic 工程师撰文分享如何在智能体编程压力下扩展测试影响分析服务。Claude 编写约 80% 的代码,测试数量增长 10x,六个月内 CI 任务增加 25x。文章复盘了三个临时补丁(扩容、按包分片、每日重启)分别只维持 70 天、29 天和不到一天,最终用三周重设计为无状态、内存存储加 journal 的可水平扩展架构,并建议团队按两季度内 25x 负载做容量规划。

    推荐理由:作者复盘了智能体编程把 CI 推向 25x 负载的完整演进,给出可迁移的架构与容量规划经验。

9月14日周一
9月12日周六
  1. OpenAI:官网动态61

    OpenAI 详解存储平台 Habitat 如何扩展支撑超 10 亿 ChatGPT 用户(上篇)

    OpenAI 发文(系列上篇)讲述其在线存储平台 Habitat 的演进:现每秒处理超 7000 万请求、服务每周超 10 亿用户、管理超 500PB 数据,覆盖近 40 个地区。

    推荐理由:原文披露了 Habitat 从 Python 库到 Rust 服务的完整演进细节,含 asyncio 调优、连接池等可迁移经验。

9月11日周五
9月10日周四
9月9日周三
9月8日周二