技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
667 条精选近 30 天 65 条共收录 4,401 条
北京市发布《关于加快智能体引领发展的若干措施》，共十条，首次将Harness Engineering（驾驭层工程）、Token经济、OPC（一人公司）等前沿概念写入正式政策。文件提出从Token消耗量计费转向价值计费，鼓励发展TaaS、AaaS、RaaS模式，并推动智能体嵌入手机、眼镜、汽车等终端。
推荐理由：这份政策把 Agent 时代的核心概念全部写进了红头文件，Harness Engineering、Token 经济、OPC 等首次在官方文件中出现，意味着智能体正式进入政策加速期，每个 AI 从业者都该读一遍。
小红书引擎架构团队在 OSDI 2026 发表论文，提出面向全闪存的高性能向量近似最近邻检索系统 HELMSMAN。该系统通过 ANNS 定制化存储栈、分层学习式搜索剪枝及 GPU 加速构建流水线，将向量检索服务迁移至 NVMe SSD 阵列。
推荐理由：在保持毫秒级在线延迟的前提下，将百亿向量检索从海量DRAM迁移到NVMe SSD阵列，为推荐与搜索系统提供了成本下降超90%的生产验证方案。
OpenRouter 上的 AI 模型市场已高度细分，OpenAI 一年前的开源模型 GPT-OSS 120b 流量达到 Anthropic Opus 4.8 的 36%。
推荐理由：作者用本地实测数据说明MoE架构让118b模型跑出26b的解码成本，端侧模型质量上限正在被竞争推高。
OpenRouter 上的 AI 模型市场正像超市货架一样分层：OpenAI 去年 8 月发布的开源模型 GPT-OSS 120b 仍占据 Anthropic 最新旗舰 Opus 4.8 流量的 36%。
推荐理由：Tomer用OpenRouter数据和自己的本地实验，把模型市场细分讲得很清楚，对选型有直接参考价值，做本地agent的可以看看他换掉Gemma的理由。
OpenAI 计划在佐治亚州萨凡纳附近建设一座超大规模数据中心，承诺投资 200 亿美元，并已争取到 3.2 吉瓦的能源。该项目预计从 2028 年起部分电力投入使用，满负荷时总成本可能超过 300 亿美元。同时，OpenAI 将截至 2030 年的预计算力支出上调至近 7500 亿美元，高于此前约 6000 亿美元的预期。
推荐理由：OpenAI 把未来算力赌注押到了 7500 亿美元，佐治亚数据中心只是冰山一角，做基础设施的同行得重新算账了。
OpenRouter 推出 POST /api/v1/audio/transcriptions 端点，用户可使用同一 API key 将 base64 编码音频发送至该端点，返回 JSON 格式文本与用量对象。
推荐理由：OpenRouter 把语音转录集成进 API，一份 key 搞定聊天和转写，对已经在用的团队省心不少，这篇教程直接可跑。
vLLM 发布 Kimi K3 生产级支持预览，为 2026 年 7 月 27 日前开放权重做好 day-0 开源服务准备。
推荐理由：vLLM 官方拆解 Kimi K3 带来的推理挑战，KDA 前缀缓存与 MoE 优化细节对部署混合注意力模型的团队有参考价值。
OpenRouter 通过 Prompt Caching 与 Sticky Routing 降低多轮 Agent 的 token 成本。缓存读取价格仅为正常输入的 0.1x-0.5x，其中 Claude Sonnet 4.6 缓存读取为 $0.30/M（正常 $3.00/M）。
推荐理由：Prompt caching 不是新概念，但 OpenRouter 把成本算得明明白白，sticky routing 配合 session_id 解决了缓存漂移的痛点，做 agent 的人该抄作业。
Cognition 推出 Devin Outposts，让 AI 软件工程师 Devin 的执行环境迁移到用户自控环境，推理仍留在 Cognition 云端；Modal 是启动合作伙伴，7 月 21 日起开放 alpha。
推荐理由：官方发布方介绍了 Devin 执行环境迁入自有 Modal Sandbox 的方式，GPU 按需启动和会话快照是可对比的实际能力变化。
Fireworks AI 在约 1,030 个真实 agent 任务上对比开源的 Kimi K3 与闭源的 Fable 5，两者总体水平接近（SWE 分别为 92.4% 与 92.6%），但各自擅长不同任务类型。
推荐理由：原文用约 1,030 个真实 agent 任务对比 K3 与 Fable 5，给出按任务路由可同时提升质量并降低成本的量化依据。
小红书与北大提出 UltraEP，首次将基于精确路由信息的实时负载均衡引入生产系统，在每个 microbatch 和每一层动态复制热点专家。在 Qwen3-235B 等模型上，训练吞吐平均达到理想性能的 94.6%，相比 Megatron-LM 提升 42%；推理 prefill 吞吐相比 SGLang 提升 1.56 倍。
推荐理由：MoE 训练推理的负载不均是个老痛点，UltraEP 用实时复制热专家的方式把 GPU 利用率拉到 94% 的理想线，代码和论文都开源了，做大规模分布式训练的团队可以直接参考。
小红书与北大开源 UltraEP，首次将基于精确路由信息的实时负载均衡引入生产系统，在每个 microbatch 和每一层动态复制热点专家，平均达到理想性能的 94.3%，相比业界 SOTA 训推框架提升 1.49 倍。该方案已在 288B 参数 MoE 模型的完整预训练中部署，保持不低于理想性能 92% 的水平。
推荐理由：动态复制热点专家替代了基于历史窗口的重排，将MoE训推吞吐从理想的一半拉至90%以上，对自研大规模模型的团队而言，是一套可落地的负载均衡方案。
Ollama 宣布完成 8800 万美元融资，由 Benchmark、Theory Ventures 和 8VC 等领投。该平台已服务 890 万开发者，并被 85% 的财富 500 强企业使用，其云端 token 用量月均翻倍。资金将用于支持无缝混合推理、新模型发布当日集成，以及让开发者在不牺牲所有权和隐私的前提下使用最强开放模型。
推荐理由：Ollama 拿到 8800 万美元融资，同时透露 85% 财富 500 强在用，月 token 量翻倍。开放模型从玩具变成企业标配的信号越来越明显，想本地跑模型的开发者都绕不开它。
Hugging Face 披露一起由自主 AI 智能体端到端驱动的入侵，攻击者借恶意数据集和两条代码执行路径获得主机权限，窃取云和集群凭据并横向移动，留下超过 17000 条操作日志，由 LLM 异常检测管线率先发现。
推荐理由：作者基于事件披露提炼防御者可用的应对思路，包括在事发前预置本地可部署开源权重模型作取证兜底。
本文面向零代码用户，提供一套使用国产大模型（Kimi、GLM、Qwen等）从零开发并上线产品的完整流程。核心步骤包括购买Coding Plan、下载官方Agent编程产品、注册域名与服务器并同步做ICP备案，然后通过Agent的Plan模式描述需求并让AI自动执行开发。上线后建议建立分支保护与测试流程，并强调即使不懂代码，也必须对系统架构了如指掌。
推荐理由：我觉得这是目前最适合非技术人的中文实操指南，把从买服务器到上线的坑都填平了，独家skill也开源了，跟着做能少走很多弯路。
英国 AI Security Institute 首次公开分析领先开源权重模型的网络安全能力差距，测试发现 GLM-5.2 是测试时最强的开源权重模型，在 AISI 窄域网络任务上接近 4 个月前发布的 Opus 4.6，在长时程网络靶场上接近 Opus 4.5，整体落后前沿 4 至 7 个月，窄于 2025 年 1 至 9 月内部评估测得的 6 至 10 个月。
推荐理由：这是 AISI 首次公开量化开源权重模型与闭源前沿在网络安全能力上的差距，并给出成本对比，为防御方的准备窗口提供依据。
Anthropic 工程师用 Claude Code 在两周内将 Bun 的百万行 Zig 代码迁移至 Rust，100% 现有测试通过，合并后出现 19 个回归问题已全部修复。另一工程师用周末将 Python 代码库迁移至 16.5 万行 TypeScript。迁移消耗约 16.5 万美元 API 成本，但编译时间从八分钟降至两秒，二进制启动快 6 倍。
推荐理由：Anthropic 用自家 Claude Code 把百万行 Zig 代码迁到 Rust，两周搞定，这不仅是案例展示，更是开发者如何用 AI 重构代码库的实操指南，尤其适合那些被遗留代码拖累的团队。
百度智能云在 WAIC2026 发布秒哒 3.5，新增 iOS 打包能力，用户无需 Mac 或 Xcode 即可将应用打包为 IPA 文件或上架 App Store。3.5 版本还内置 SEO Agent 实现搜索优化自动化，支持多应用共享同一后端数据库，并推出数据库多环境隔离与后端资源分级功能。秒哒累计服务超 3500 万用户，已创造 350 万个商业应用。
推荐理由：秒哒3.5把无代码开发推到了iOS端，一键打包、多端共享后端这些能力对非技术创业者是真降门槛。但百度生态外的吸引力有限，适合已有秒哒应用的人直接升级。
HYPIC 在混合注意力大模型上实现了位置无关缓存，将首 token 延迟平均降低 3.25 倍。在 4 个生产级模型上，同 SLO 下可持续 QPS 提升 1.66 倍，任务质量与完全重算仅相差 1.71 分。
推荐理由：混合注意力模型终于有了可用的位置无关缓存方案，HYPIC 用转移算子缓存和缝合窗口解决了长期兼容难题，对长上下文推理服务的加速意义重大，做推理 infra 的团队可以马上看论文和代码。
小红书联合北大、上交提出 HYPIC，这是首个在混合注意力大模型上实现位置无关缓存的服务系统。在 4 个生产级混合注意力模型、5 个工作负载上，HYPIC 将首 token 延迟（TTFT）平均降低 3.25 倍，同 SLO 下可持续 QPS 提升 1.66 倍，任务质量与完全重算仅相差 1.71 分。该系统通过缓存段累积转移算子实现线性层常数时间状态组合，并用缝合窗口修复全注意力层跨段对齐。
推荐理由：此前位置无关缓存无法用于混合注意力模型，HYPIC 通过缓存转移算子与缝合窗口首次实现，RAG 场景 TTFT 降低 3.25 倍，开源代码为推理系统提供了可复用的加速路径。