把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
第 441–460 条 · 共 531 条
LiteRT 是一个生产就绪的框架，旨在帮助移动开发者充分发挥神经处理单元（NPU）的效能，以突破传统 CPU 或 GPU 在性能与电池续航上的瓶颈。该框架通过提供统一的 API 来屏蔽底层硬件复杂性，已成功助力 Google Meet、Epic Games 等行业领先者高效部署复杂的 AI 模型，实现实时视频处理、动画生成与语音识别等高级功能。此外，平台还提供基准测试工具并具备跨平台兼容性，能够支持 AI 应用无缝部署于移动设备、AI PC 及工业物联网硬件等多种终端。
针对智能体任务中Token消耗快速增长的问题，Ling-2.6-flash模型正式发布。该模型采用混合线性架构等技术进行系统性优化，旨在实现更高推理效率和更低使用成本。其推理速度在4卡H20条件下最快可达340 tokens/s，在Artificial Analysis评测中仅消耗约对比模型1/10的Tokens。模型在多个Agent相关基准测试中达到同尺寸SOTA水平，保持了强大的任务执行与工具调用能力。
Google Cloud 推出 Agents CLI 工具，专为连接本地开发与生产级 AI 智能体部署而设计。该 CLI 为编码助手提供对完整 Google Cloud 技术栈的机器可读访问，显著减少脚手架过程中的上下文过载与 token 消耗。通过将评估、基础设施配置和部署流程整合至统一的程序化主干，开发者能够将项目从初始概念推进至实时服务的时间从数周缩短至数小时。
Cursor 团队针对用户全天依赖应用、崩溃影响严重的问题，聚焦内存不足导致的崩溃。通过为多进程架构设计细粒度监控系统，实时追踪版本发布后的崩溃指标。采用双重调试策略：自上而下关联功能与崩溃数据，监控大消息负载；自下而上通过崩溃观察服务、堆快照等定位根本原因。自2月底以来，全版本会话OOM率下降80%，自3月1日起请求OOM率下降73%。具体措施包括处理大文件加载和修复资源泄漏，以应对突发与渐进性内存耗尽。
现代序列建模主要依赖Transformer和结构化状态空间模型，但两者在长上下文处理中均存在局限。Sessa提出一种新解码器架构，将注意力机制置于循环反馈路径内，从而构建多条基于注意力的历史信息传递路径。理论分析表明，在匹配条件下，Sessa可实现幂律记忆衰减O(ℓ^{-β})（0<β<1），其衰减速度慢于对应的Transformer与Mamba基线，并能实现灵活的选择性信息检索，包括影响力不随距离衰减的模式。实验证明，Sessa在长上下文基准测试中取得最强性能，同时在短上下文语言建模任务上保持竞争力。
开发者在单张RTX 3090显卡上成功运行Qwen3.5-27B模型，实现了每秒207个token的生成速度。该项目已在GitHub平台开源，展示了消费级硬件运行270亿参数大语言模型的高性能潜力。相关成果在Hacker News获得105个点赞，引发技术社区对本地大模型部署效率与优化方案的关注。
A2UI v0.9发布了一个框架无关的新标准，旨在帮助AI代理依据公司现有设计系统，实时生成定制化的UI组件。本次更新通过提供全新的Python版Agent SDK、共享的Web核心库，以及对React、Flutter和Angular等渲染器的官方支持，显著简化了开发体验。该版本将UI意图与具体平台解耦，实现了生成式界面在Web和移动应用间的无缝、低延迟流式传输。通过集成AG2和Vercel等更广泛的生态系统，A2UI v0.9致力于推动生成式UI从实验演示走向可用于生产环境的成熟产品。
Sentence Transformers 发布了用于训练和微调多模态嵌入与重排序模型的功能。新版本支持将文本、图像等不同模态的数据映射到统一的向量空间，并优化了跨模态检索的精度。关键改进包括对嵌入模型和重排序器进行联合或分阶段训练，显著提升了如图文检索等任务的性能指标。此次更新旨在通过开源工具推动多模态人工智能技术的普及与发展。
随着2026年AI代码代理的成熟，开源项目如transformers面临PR数量激增但质量下降的挑战。这些代理生成的代码常忽视项目的隐式设计契约，导致代码冗长、引入错误并增加维护者负担。为此，团队为mlx-lm开发了一个Skill工具，用于将模型从transformers高质量地移植到mlx-lm框架。该工具不仅生成接近人工提交的PR，还提供生成示例、数值对比和独立的测试工具链，以辅助贡献者和审查者。其目标是让模型在加入transformers后能快速在MLX上可用，同时维护代码的可读性与设计一致性。
OpenRouter平台现已上线视频生成服务。用户可通过单一API接口，直接调用顶级的视频生成模型。这一集成简化了开发流程，使开发者无需分别对接不同厂商，即可便捷地访问和使用当前领先的视频AI模型能力。
2026年4月15日，Mistral AI在Studio中推出Connectors功能，允许开发者通过可复用的连接器、直接工具调用和人工审批控制，安全地将企业数据集成到AI应用程序。所有内置连接器及自定义MCP均支持API/SDK调用，并集中注册，可在LeChat和AI Studio等平台使用。直接工具调用提供更精确的控制，而人工审批流程能在工具执行前进行安全审查。该功能旨在解决企业集成中重复构建、维护成本高和安全风险等问题，简化AI代理开发流程。
我们与NVIDIA合作，利用自主运行的多智能体系统，在为期三周内对235个真实CUDA内核进行了优化。该系统从零开始构建并优化Blackwell GPU内核直至汇编级别，实现了38%的几何平均速度提升，其中63%的问题超越基线，19%实现超2倍优化。这些内核直接影响AI训练与推理效率，传统上需资深工程师耗时数月乃至数年的优化工作，该系统在数周内即自主完成，并能探索更广阔解决方案空间，突破了人工逐项优化的限制。
AI 智能体需求激增正与有限算力容量产生激烈冲突，引发行业连锁反应。Anthropic 因算力不足遭遇严重服务中断，OpenAI 宣布终止视频生成模型 Sora。据市场数据，GPU 价格已飙升近 50%，算力短缺正从基础设施层面制约 AI 行业扩张。
ClawGUI是面向GUI Agent的开源全栈框架，统一解决训练、评估与部署的基础设施瓶颈。ClawGUI-RL首创支持并行虚拟环境与真实设备的开源强化学习管道，集成GiGPO与过程奖励模型；ClawGUI-Eval在6项基准实现95.8%基线复现率；ClawGUI-Agent支持部署至Android、HarmonyOS、iOS及12个以上聊天平台。经该管道训练的ClawGUI-2B在MobileWorld GUI-Only任务达17.1%成功率，较同规模基线提升6.0%。
Claude 发布 Managed Agents 公开测试版，这是一个完全托管的智能体框架，支持通过 API 创建智能体、配置容器并运行会话，具备安全沙箱、内置工具和 SSE 流式传输。同时推出 ant CLI 命令行客户端，可加速与 Claude API 的交互，原生集成 Claude Code，并支持以 YAML 文件管理 API 资源版本。
Safetensors 安全张量格式原为 Hugging Face 项目，旨在解决模型权重存储的安全风险，现正式加入 PyTorch 基金会，移交至 Linux 基金会旗下，实现供应商中立治理。该格式因简单高效被广泛采用，成为 Hugging Face Hub 等平台默认模型分发方式，服务数万个模型。此次变更对用户无影响，格式、API 和集成保持不变。未来路线图包括设备感知加载与保存、张量并行和流水线并行的 API 支持，以及 FP8、GPTQ 等量化格式的正式集成。项目治理文档已公开，鼓励社区参与贡献。
cuLA是一套面向GLA、KDA等线性注意力变体的高性能CUDA内核库。它通过手工优化的CuTe DSL与CUTLASS C++实现，深度适配NVIDIA Hopper和Blackwell等新一代GPU架构，旨在将复杂算法转化为可直接调用的高性能算子。其接口与flash-linear-attention保持一致，开发者仅需修改一行import即可低成本接入。性能测试显示，其内核在Blackwell和Hopper GPU上相比Triton基线实现，平均加速比最高达1.52倍。该项目已开源，并计划未来集成至FLA的统一调度机制中。
TorchTPU 是一个新的工程栈，旨在让 PyTorch 工作负载以最小代码改动在谷歌 TPU 基础设施上获得原生高性能体验。它采用“Eager First”设计，提供多执行模式，并利用 XLA 编译器优化大规模集群的分布式训练。项目计划到 2026 年进一步降低编译开销，扩展对动态形状和自定义内核的支持，以确保下一代 AI 实现无缝扩展。
针对Blackwell GPU上的小批量解码，研究提出了一种名为“warp decode”的新方法。该方法颠覆了传统以专家为中心的计算路径，改为让每个GPU warp负责计算一个输出神经元。这一根本性改变消除了原有流程中五个纯数据管理的“簿记”步骤，将整个MoE计算层压缩为仅两个内核。其优势在于避免了填充、分散和中间缓冲区的读写，并通过warp独立性实现了更好的调度。在Blackwell GPU上，该方法实现了1.84倍的吞吐量提升，同时输出精度更高，与全FP32参考值的差距缩小了1.4倍，有效加速了模型研发流程。
Meta的Ranking Engineer Agent系列博客第二篇，聚焦其底层基础设施优化能力。该自主AI代理能够优化支撑广告排名模型运行的低层基础设施，旨在提升系统性能与效率。本篇承接首篇介绍的机器学习实验自主探索功能，进一步展示了该代理在硬件与系统层面的自动化优化实践。