OpenRouter@OpenRouter精选AI 评分7777推荐理由：OpenRouter 给 Auto Router 加了成本质量权衡参数，0 到 10，0 是最强模型不管价格，10 是便宜模型优先。做 AI 产品想自己控制成本线，这个参数比只靠自动判断实用很多，值得细调。
技术方向
部署工程 最新动态
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
667 条精选近 30 天 66 条共收录 4,396 条
更新
精选归档 · 第 21 页
- OpenRouter@OpenRouter精选AI 评分7777
Hugging Face 社区博客精选AI 评分6060 超越LLM：为何可扩展的企业AI采用取决于智能体逻辑
可扩展的企业AI采用需超越大语言模型，依靠智能体逻辑来引导模型执行动态、长周期且受约束的企业工作流，从而提升质量、降低成本并建立信任。文中以IBM watsonx Code Assistant for Z为例，展示了智能体逻辑如何通过程序分析等技术，在理解大型遗留代码库时，相比纯LLM基线方法，能以约30倍更低的token消耗达到更优性能。在加速测试生成任务中，该方法亦能使代码覆盖度提升20%-45%，同时token消耗降低最高达15倍。
推荐理由：不是又一篇炒作 agent 的文章，IBM 拿真实项目数据说清楚了‘agent logic’怎么让大模型在企业落地时既降本又增效。
IT之家·人工智能精选AI 评分7373 英伟达和台积电将 AI 引入晶圆厂，推动半导体设计与制造发展
英伟达宣布台积电正采用其加速计算与 AI 技术，覆盖计算光刻、制程仿真、控制与晶圆厂运营等环节。其中 cuLitho 在综合拥有成本不变下将成本效益或生产周期优化 20% 至 50%，cuEST 使化学仿真提速平均 50 倍。台积电还借助 Metropolis 视觉平台提升纳米级缺陷检测，并探索用 Omniverse 搭建晶圆厂数字孪生。
推荐理由：这是 AI 反哺半导体制造的关键信号，英伟达的 GPU 和软件栈正渗透进台积电产线，从计算光刻到缺陷检测全链条提速，芯片迭代周期可能因此压缩一档。
OpenRouter：Announcements精选AI 评分7777 OpenRouter 五月发布亮点：语音API、模型融合、企业控制及20个新模型上架
OpenRouter 推出语音与转录 API、模型融合（Model Fusion）、私有模型部署和企业级工作空间控制功能。平台同时新增 20 个模型，其中包括 Gemini 3.5 Flash 和 Claude Opus 4.8。语音 API 支持实时语音识别与合成，模型融合允许用户组合多个模型的输出结果。企业工作空间提供更细粒度的权限管理与审计日志。
推荐理由：OpenRouter五月更新不只是加模型，护栏、语音、模型融合全打包成API，开发团队读完就能用。月流量破百亿token还拿了1.13亿融资，平台稳定性会更强。
OpenRouter：Announcements精选AI 评分7171 OpenRouter 5月发布亮点：语音与转录API、模型融合及20款新模型
OpenRouter 发布5月更新，推出语音与转录API、模型融合功能、私有模型支持和企业工作区控制，并新增20款模型，包括Gemini 3.5 Flash和Claude Opus 4.8。
推荐理由：OpenRouter 这次月度发布把安全护栏、多模型融合和语音 API 全补上了，Model Fusion 和 Pareto Code Router 对做 agent 的团队尤其实用，成本控制与质量权衡变得更直接。
StepFun@StepFun_ai精选AI 评分8080引用Sudo su@sudoingX我现在正在一台 dgx spark 上运行 stepfun 新的 step 3.7 flash。 198b 的视觉模型，跑在一台就摆在桌上的机器上。以下是如何帮你省下大约 3 小时抓耳挠腮的加载时间，因为我已经替你抓过了。 官方 README 告诉你需要 stepfun 自己的 llama.cpp fork。你不需要，主线 ggml-org 就能跑得好好的，视觉功能什么的都行，64k。别花一个小时去构建一个 fork，结果发现不用它模型也能加载。 下面这个才是真正会吃掉你一整晚的：模型占了你约 121gb 统一内存池中的 104gb，而 spark 没有 swap。请求的上下文太大，它不会干净地崩溃，而是会静默地颠簸，内核把模型页换出、再从磁盘反复读回，循环往复，而你只能盯着“loading”发呆。 判断的信号是 read_bytes。如果它涨过 104gb 的模型大小还继续涨，同时进程内存钉在 99% 且日志毫无进展，那就是卡死了。杀掉它，它不会自己恢复。 在 q8 kv cache 上加载视觉投影器时，64k 就是 128gb 机器上的上限，超过它就会在 clip loader 里颠簸，模型加上 KV 加上视觉缓冲区全都在争抢你剩下的那约 17gb。 想要完整的 256k 上下文？去掉视觉，换成 q4 kv cache，这样就能装下，121gb 里用 114gb。这就是他们 README 没有明说的取舍：大上下文是真的，只不过得用 q4 cache，而且仅限文本。 而且它是个推理模型。问它点东西，如果你得到空白回复，不是你把它弄坏了，是你把 max_tokens 设得太低，它把整个预算都花在思考上了。答案就在 reasoning_content 里。给它留点空间。 这就是那 3 小时。确切可用的参数和权重在回复里。
推荐理由：把 198B 的视觉模型塞进一台桌面盒子，还跑通了，这本身就是个小里程碑。更关键的是，这篇实战直接帮你绕开了三个大坑，省下的三小时够你喝杯咖啡慢慢试了。
Simon Willison 博客精选AI 评分7373 在浏览器中通过 Pyodide 和 Service Worker 运行 Python ASGI 应用
作者展示了如何在浏览器中通过 Pyodide 和 Service Worker 运行 Python ASGI 应用。此前的 Datasette Lite 使用 Web Workers，但无法执行 `<script>` 标签中的 JavaScript。新方案由 Claude Opus 4.8 协助完成开发，解决了这一问题。作者已展示了基础的 ASGI FastCGI 演示和运行 Datasette 1.0a31 的演示，并计划后续将此方法应用于升级 Datasette Lite。
推荐理由：Simon Willison 用 Service Worker 让 Python ASGI 在浏览器里真正跑了起来，这个技巧补上了 Datasette Lite 长期缺的 JS 执行能力，搞 Pyodide 的值得看看。
OpenRouter：Announcements精选AI 评分6969 Guardrails：保护你的智能体、数据与成本
Guardrails 是一套可配置的安全与治理工具，提供预算执行、零数据保留、模型与提供商限制、提示词注入防御及数据丢失预防等功能，旨在保护智能体（Agents）、数据与控制成本。
推荐理由：OpenRouter 把预算管控、注入防御和敏感信息脱敏打包成一套 guardrail 配置，让投喂给 Agent 的流量有了护栏，用 OpenRouter 做生产级应用的团队可以立刻用上，不用自己搞中间件。
Rohan Paul@rohanpaul_ai精选AI 评分7676
推荐理由：Rohan亲自测完Kog AI的3000 token/s，把单用户推理速度拉高了10-30倍，这套monokernel设计可能改写低延迟推理的玩法，做实时AI产品的团队必须盯紧。
Hugging Face 社区博客精选AI 评分7171 PyTorch 性能分析系列（一）：torch.profiler 入门指南
本文是 PyTorch profiling 系列的开篇，从最简单的矩阵乘法加偏置操作出发，逐步讲解如何使用 `torch.profiler` 进行性能分析。涵盖 profiler 设置、导出统计表格与 Chrome trace、解读 CPU 和 GPU 活动的时序关系，以及 `torch.compile` 对底层 CUDA kernel 调用链的影响。实验基于 NVIDIA A100-SXM4-80GB GPU 运行，面向基本掌握 PyTorch 但缺乏 profiling 经验的读者。
推荐理由：PyTorch profiling 的陡峭学习曲线劝退了很多人，这篇用从零开始的方式把 trace 拆解得明明白白，想做性能优化的同学该收藏。
Claude Platform：开发者版本说明精选AI 评分6363 Claude Platform on AWS 新增 Managed Agents webhooks、多智能体编排与自托管沙箱
Claude Platform on AWS 现已支持 Managed Agents webhooks、多智能体编排和自托管沙箱。新增了 IAM 操作及 `AnthropicSelfHostedEnvironmentAccess` 托管策略，用于在 AWS 上管理 Claude 智能体的触发、协作与安全执行环境。
推荐理由：这次更新让 Claude 托管代理直接跑在 AWS 上，对已经在用 Claude Platform 的企业算是好消息，webhooks 和多代理编排能简化不少工作流，但并不会改变行业格局。
LMSYS Blog精选AI 评分6969 SGLang 团队与 AMD 合作，使 AMD Instinct™ MI355X GPU 的大规模 DeepSeek-R1 分离式推理在总拥有成本上具备竞争力
SGLang 与 AMD 团队合作，通过一系列全栈优化，使 AMD Instinct™ MI355X GPU 在运行 DeepSeek-R1 大模型推理时实现了极具竞争力的总拥有成本。在 129 tok/s/user 的交互延迟下，其成本为每百万 token $0.169，比 NVIDIA B200（Dynamo TRT-LLM）方案低 5%，比 B200（SGLang）方案低 40%。吞吐量方面，24 块 AMD GPU 达到 2,436 tok/s/GPU，比使用 48 块 GPU 的 B200 SGLang 方案每 GPU 吞吐量高 1.25 倍。核心优化包括：MoRI 混合 FP4/FP8 量化全到全通信、MoRI-IO KV Cache 后端、两批重叠与 SDMA、ROCm 上的 Specv2 MTP 以及 CPU 流式处理优化。
推荐理由：AMD MI355X跑DeepSeek-R1的TCO比NVIDIA B200低5%，吞吐还高出1.25倍，这是开源框架SGLang对闭源生态的一次真实挑战，做推理部署的应该点开看看完整的全栈优化。
LMSYS Blog精选AI 评分6161 LMSYS与Intel合作通过异构CPU+GPU EPD架构提升视觉语言模型服务性能
LMSYS团队（Intel与SGLang）通过Dynamo和SGLang框架，为视觉语言模型（VLM）启用了异构编码-预填充-解耦（EPD）架构。该方案将视觉编码任务从GPU卸载至CPU（如Intel Xeon 6747P），与GPU协同工作。在Qwen3-VL-8B-Instruct模型的测试中，采用4 CPU + 1 GPU作为编码器、4 GPU作为预填充解码器（能力比R=12）的配置，在ISL/OSL 128/256、1080p 8张图像的负载下，实现了P99 TTFT和请求吞吐量约1.2倍至1.3倍的提升，并将P99 TPOT降低了约1.3倍至30倍。
推荐理由：做VLM服务部署的可以认真看一下，用CPU头节点做异构EPD分离，几乎零成本换来了TTFT和TPOT的显著提升，有完整脚本和benchmark，能直接上手试。
- OpenRouter@OpenRouter精选AI 评分6969
推荐理由：OpenRouter 这个 Flex/Priority 层级用法看似细枝末节，但你如果同时调 OpenAI 和 Vertex，知道怎么分层能免掉很多无谓的速率限制和成本焦虑。
OpenRouter：Announcements精选AI 评分6363 OpenRouter 完成 1.13 亿美元 B 轮融资
OpenRouter 宣布获得 1.13 亿美元 B 轮融资，由 CapitalG 领投，NVentures、ServiceNow Ventures 等多家机构参投，现有投资者 Andreessen Horowitz 和 Menlo Ventures 继续跟投。
推荐理由：OpenRouter融了1.13亿美元，领投方CapitalG，跟投名单里几乎全是云计算巨头，这不是一家公司的钱，是基础设施层的一次战略布局，开发者选模型的路由成本可能因此改写。
Mistral AI：News精选AI 评分6363 Mistral 发布开源 Search Toolkit 公开预览版，统一搜索管道的摄入、检索与评估
Mistral AI 于 5 月 28 日发布 Search Toolkit 公开预览版，一个用于构建 AI 应用生产级搜索管道的开源组合式框架，把摄入、检索和评估纳入统一接口，可部署在云端、本地或边缘。
推荐理由：原文完整列出框架的摄入、检索、评估三大模块与内置指标和企业案例，读者可据此判断能否替代自建检索管道。
MarkTechPost精选AI 评分7070 pgvector驱动的语义、混合、稀疏与量化向量搜索系统构建编码指南
本教程在Google Colab中构建一个完整的pgvector实验环境，展示PostgreSQL如何作为向量数据库服务于现代AI应用。内容涵盖安装PostgreSQL、编译pgvector扩展、通过Psycopg建立连接，并注册向量类型以实现与Python的平滑集成。最后使用SentenceTransformers创建并存储嵌入向量。
推荐理由：这份教程把 pgvector 的稀疏向量、量化搜索等高级功能打包成 Colab 代码，用 PostgreSQL 做向量数据库的团队可以直接复制粘贴跑起来。
OpenRouter：Announcements精选AI 评分7272 OpenRouter 获得1.13亿美元B轮融资
AI模型聚合平台OpenRouter宣布完成1.13亿美元B轮融资。本轮融资由CapitalG领投，NVentures、ServiceNow Ventures等多家机构参投，现有投资者Andreessen Horowitz与Menlo Ventures也参与了本轮融资。
推荐理由：OpenRouter 融了 1.13 亿美元，说明模型路由从「小工具」变成正经防线了，开发者选模型不再单一绑定，这个方向钱和战略意义都上来了。
公众号：面壁智能精选AI 评分6161 PilotDeck 开源：以 WorkSpace 为核心的智能体操作系统
清华大学 THUNLP 实验室、面壁智能、OpenBMB 与 AI9stars 联合研发并开源的智能体操作系统 PilotDeck，以 WorkSpace（工作舱）替代传统对话框，每个工作舱拥有独立文件系统、记忆和技能，实现项目隔离。三大核心能力：记忆白盒化，全链路可见可控，支持一键修改和回滚；智能路由，自动识别任务难度动态分配模型，开启后成本节省近 70%，复杂任务仅用 1/6 成本即可反超顶级模型方案；Always-on 常驻任务，AI 主动发现并持续推进工作。支持端云协同，可调用端侧模型作为子 Agent，自动部署 VoxCPM 等模型完成多语言播客等任务。
推荐理由：PilotDeck把Agent从对话框解放进「工作舱」，记忆可见、成本锐减、能无人值守运行。已开源，值得所有被多任务折磨的开发者试试。
Claude Code：GitHub Releases精选AI 评分6767 Claude Code v2.1.153 版本更新
Claude Code 发布 v2.1.153 版本。主要新增 `skipLfs` 选项以跳过 Git LFS 下载；优化了 `claude agents` 的自动补全建议和 PR 列显示格式。本次更新修复了大量问题，包括：MCP 服务器的连接与重连、子代理的配置策略与严格模式行为、后台会话的管理与权限提示（如恢复、输入响应、临时文件处理），以及跨 macOS/Windows/VSCode 平台的稳定性。此外，还修复了 Windows 更新回滚、内存占用、会话恢复等多个具体问题。`/model` 命令现在会将选择设为新会话的默认模型。
推荐理由：Claude Code 的一次日常小修小补，但修复了 OAuth 凭证泄露和内存泄漏这种真影响使用的 bug，且 /model 现在可以记住默认模型了，升级一下不亏。