跳到正文

技术方向

部署工程 最新动态

怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。

667 条精选近 30 天 66 条共收录 4,398 条

更新

精选归档 · 第 5 页

9月17日周四第 81–100 条
  1. Unsloth AI68

    Unsloth 宣布可使用其 Docker 镜像本地训练和运行 500+ 模型，提供新 GUI 和 notebooks 工作流，无需配置，支持 NVIDIA 和 AMD，指南见 https://unsloth.ai/docs/get-started/install/docker。

    引用Unsloth AI@UnslothAI

    推出 Unsloth Desktop 🦥 首个可在本地运行和训练模型的桌面应用。 • 开源。支持 Mac、Windows 和 Linux • 支持 MLX、扩散图像/视频、音频、GGUF • 将 Claude Code 和 Codex 连接到本地 LLM • 准确率提升 50%，自愈式工具调用 + 沙箱化代码执行 • 适用于 CPU + 多 GPU 配置——NVIDIA、AMD、Intel、Mac • 训练模型速度提升 2×，VRAM 占用减少 70% • 私密网页搜索、深度研究、RAG、MCP 及导出（NVFP4、GGUF） • 使用 Unsloth 的 OpenAI 兼容 API 和云端模型 • 安全地远程部署 LLM，随时随地访问 Unsloth Desktop 现已在 http://unsloth.ai 和 GitHub 上发布。 GitHub：https://github.com/unslothai/unsloth 博客与指南：https://unsloth.ai/docs/desktop

    推荐理由：官方介绍了新 Docker 镜像和 Desktop 应用，列出本地训练运行模型的硬件支持与效率数字，读者可据此评估本地部署方式。

  2. GitHub Blog87

    GitHub 用 Copilot 智能体将 Copilot 运行时从 TypeScript 迁移到 83 万行 Rust

    GitHub 工程师 Stephen Toub 复盘用 Copilot 智能体在约 14.5 周内将 Copilot agent runtime 从 TypeScript/Node.js 全量重写为 832,378 行生产 Rust，AI 智能体完成大部分代码，共 128 个 PR 增量合入 main 并持续发布。

    推荐理由：当事工程师复盘用 AI 智能体在数月内将 Copilot 运行时迁往 Rust 的全过程，策略、回归样本和成本数据对同类迁移有直接参考价值。

9月16日周三
  1. Aravind Srinivas69

    Perplexity CEO Aravind Srinivas 宣布自研键值数据库 CobbleDB，替代 AWS DynamoDB 用于快速网页内容抓取，迁移后每年最多可节省一亿美元。该项目由两名工程师和数百个持续运行的 Computer 智能体在两个月内完成核心基础设施，官方研究称热存储批次读取延迟较 DynamoDB 全分布下降约 5 倍（P50 从 31.4ms 降至 5.60ms）。

    引用Perplexity@perplexity_ai

    我们正在发布关于我们如何构建 CobbleDB 的研究，这是我们为 Perplexity 搜索提供网页内容的键值数据库。 两名工程师和一支由数百个主动、始终在线的 AI 代理组成的团队在两个月内构建了核心基础设施。

    推荐理由：原文给出成本节省数字和构建方式，图片补充了批次读取延迟的具体对比数据。

  2. Claude：Blog65

    Claude for Small Business 新增 43 个 workflow 与 27 个集成

    Anthropic 为 Claude for Small Business 新增 43 个 workflow 和 27 个集成，覆盖 Shopify、Salesforce、TikTok、Zoom、Stripe、Zapier 等工具，该产品自 5 月上线以来安装量超过 90 万次。

    推荐理由：原文给出43个workflow、27个新集成和默认审批模式的控制方式，读者可以据此判断它怎样接入小店现有的工具链。

9月15日周二
  2. Claude：Blog66

    Anthropic 工程师复盘：智能体编程压力下如何扩展测试影响分析服务

    Anthropic 工程师撰文分享如何在智能体编程压力下扩展测试影响分析服务。Claude 编写约 80% 的代码，测试数量增长 10x，六个月内 CI 任务增加 25x。文章复盘了三个临时补丁（扩容、按包分片、每日重启）分别只维持 70 天、29 天和不到一天，最终用三周重设计为无状态、内存存储加 journal 的可水平扩展架构，并建议团队按两季度内 25x 负载做容量规划。

    推荐理由：作者复盘了智能体编程把 CI 推向 25x 负载的完整演进，给出可迁移的架构与容量规划经验。

  3. SiliconFlow66

    硅基流动（SiliconFlow）宣布开源模型 Hy4 preview 上线其平台。该模型总参数 770B、每 token 激活 49B、支持 1M 上下文，采用 Apache 2.0 协议，面向编码、分析、研究和复杂实际工作。用户可将其接入 Claude Code、Codex、Cursor 等已有工具；图片显示定价为每 1M tokens 输入 $0.834、输出 $2.501、缓存 $0.042。

    推荐理由：原文给出了参数规模、上下文长度、开源协议和定价，读者可据此评估它能否接入现有编码与 Agent 工具链。

9月13日周日
  1. MarkTechPost79

    Agent 长任务上下文工程解析：用预算控制、压缩、todo-state 和记忆对抗上下文溢出与目标丢失

    文章解析 Agent harness 层应对长任务中上下文溢出与目标丢失的四类机制：上下文预算与卸载、压缩、todo-state 复述和跨会话记忆。

    推荐理由：文章把解决长任务中上下文溢出与目标丢失的机制拆成四类，并对照多款主流 Agent 产品的具体实现和阈值，便于读者迁移到自己的系统。

9月12日周六
  1. Baseten 工程博客76

    DeepSeek 发布开源模型 DeepSeek-V4.1-Flash，优化编码智能体 prefill 效率

    DeepSeek 本周在 HuggingFace 开源 DeepSeek-V4.1-Flash 权重，模型总参数 552B，prefill 激活 8B、decode 激活 16B，支持 1M token 上下文和文本加图像输入，已上线 Baseten Model APIs。

    推荐理由：文章解释了 CED 架构如何把 prefill 降到 8B 激活参数并压缩 KV cache，读者能理解它为何更适配编码智能体的高 prefill 负载。

  2. OpenAI：官网动态61

    OpenAI 详解存储平台 Habitat 如何扩展支撑超 10 亿 ChatGPT 用户（上篇）

    OpenAI 发文（系列上篇）讲述其在线存储平台 Habitat 的演进：现每秒处理超 7000 万请求、服务每周超 10 亿用户、管理超 500PB 数据，覆盖近 40 个地区。

    推荐理由：原文披露了 Habitat 从 Python 库到 Rust 服务的完整演进细节，含 asyncio 调优、连接池等可迁移经验。

9月11日周五
  1. OpenRouter：Announcements67

    OpenRouter 发布 Fusion 复合模型，让多个模型辩论后合成最终答案

    OpenRouter 发布 Fusion 复合推理系统，将一个提示词并行发给 1 到 8 个面板模型，由 judge 比较共识与分歧后由调用模型写出最终答案。默认三模型面板成本约为单次完成的四到五倍、延迟两到三倍，在 DRACO 深度研究基准上预算面板得 64.7%、前沿面板得 69.0%。

    推荐理由：官方详解 Fusion 的多模型辩论机制、四到五倍成本与两到三倍延迟，并给出适用与不适用的具体场景。

  2. Together AI 研究与产品博客63

    Together AI 扩展微调服务：新增模型、实验跟踪与更细训练控制

    Together AI 扩展 Together Fine-Tuning 服务，新增对 GLM-5.3、Kimi K2.7、Qwen 3.5 系列等最新开源权重模型的支持，并上线实时实验跟踪、数据集预览验证等能力。

    推荐理由：原文给出新模型支持、Expert LoRA 实测对比、自动早停和降价幅度等具体细节，读者可据此评估微调工作流的实际改进。

9月10日周四
  1. OpenRouter66

    OpenRouter 推出新的有状态服务端工具 Shell，任何 OpenRouter 上的模型都可以在托管的 Linux 容器中运行命令。该功能今日起以 beta 形式提供，代号为 `openrouter:shell`，同时新增 Files API 用于在容器内外传输文件。

    推荐理由：OpenRouter 官方介绍新 Shell 工具和 Files API 的能力与开放方式，模型调用方可以据此判断如何接入有状态命令执行。

  2. Hugging Face 社区博客65

    Hugging Face 用 Gradio Workflow 重建 Workflow1111，复刻 AUTOMATIC1111 主要功能

    Hugging Face 发布 Workflow1111，用 gr.Workflow 以 73 个节点、11 条媒体管线重建 AUTOMATIC1111 的大部分功能，覆盖文本生成图像、高清修复、图生图、prompt matrix、VLM 反推提示词、检测生成 inpaint 蒙版、ControlNet 式预处理器、背景移除、PNG Info 和图生视频。

    推荐理由：原文展示用 Gradio Workflow 重建 AUTOMATIC1111 主要功能的具体做法，并给出 REST 与 MCP 入口，读者可评估它与 ComfyUI 的取舍。

  3. MarkTechPost87

    DeepSeek AI 发布 DeepSeek-V4.1-Flash：1M 上下文、FP4 KV 缓存与跨层注意力复用

    DeepSeek AI 发布多模态 MoE 模型 DeepSeek-V4.1-Flash，552B 主干加 196B Engram 参数，上下文窗口 1M，prefill 激活 8B 参数、decode 激活 16B，全局 KV 缓存降至每 token 890 字节，约为 DeepSeek-V4-Flash 的 1/4、DeepSeek-V1 的 1/437。

    推荐理由：文章拆解了 KV 缓存压缩和预精简架构的具体做法，读者可以对照其工程路径评估长上下文部署成本。

  4. Hugging Face 社区博客61

    Hugging Face 用 LoRA 与 Storage Bucket 在 HF Jobs 上跑异步 GRPO，免 NCCL 并提速 3.9 倍

    Hugging Face 在 TRL v1.14 的 AsyncGRPOTrainer 中支持只训练和同步 LoRA adapter，配合 Storage Bucket 挂载与代理路由，让训练 Job 和 vLLM 推理 Job 在不同机器上运行而无需 NCCL。

    推荐理由：Hugging Face 官方用五个实验展示了如何在 Jobs 上分离训练与推理跑异步 GRPO，并通过逐项定位瓶颈把运行提速 3.9 倍，方法可迁移。

9月9日周三
  1. OpenRouter：Announcements73

    OpenRouter 推出 shell 沙箱工具与 Files API，任何模型可在托管 Linux 容器中执行命令

    OpenRouter 发布 openrouter:shell 服务端工具和 Files API，OpenRouter 上任何支持工具调用的模型都可在托管 Linux 容器中运行命令，两者现已在 beta 阶段开放。

    推荐理由：原文给出定价、容器网络策略和文件生命周期等落地细节，读者可以据此评估在自己的 Agent 工作流中怎么用这套沙箱。

  2. OpenRouter：Announcements60

    OpenRouter 推出 US In-Region Routing 区域路由

    OpenRouter 推出 US In-Region Routing，请求经 us.openrouter.ai 在美国境内解密并只路由到美国 provider 端点，eu.openrouter.ai 提供同样的 EU 路由。

    推荐理由：原文给出端到端区域路由的实现方式和可用模型清单，读者可以据此评估数据驻留合规配置。

  3. Claude：Blog67

    Anthropic 发布 Claude Platform 降本指南并更新 claude-api 技能

    Anthropic 介绍用 Claude Platform 降低成本、保持性能的三种方法：提高提示词缓存命中率、升级到前沿模型时清除提示词反模式、按任务校准 effort。

    推荐理由：官方给出了提示词缓存、反模式清理和 effort 校准三类降本方法及实测数字，可直接迁移到自己的 Claude API 应用。