把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
第 381–400 条 · 共 532 条
Anthropic公司正式在AWS上推出Claude平台，为AWS客户提供了通过其现有身份验证、账单及承诺消费抵扣使用完整Claude功能的新途径。该平台首次将全套Claude API功能引入AWS生态，新功能与原生API同日上线。平台包含Claude托管智能体、代码执行、文件API等多项核心功能，并支持最新模型。与Amazon Bedrock上的服务不同，此平台由Anthropic直接运营，数据在AWS边界外处理，适合需要完整平台体验的企业客户。服务将在多数AWS商业区域提供。
Runway开源了Python库confingy，旨在解决机器学习系统配置的长期痛点。该库允许开发者用纯Python代码（支持懒加载、类型检查和序列化）替代传统YAML配置文件，从而摆脱YAML作为图灵完备领域特定语言所带来的维护困境。confingy无需重构现有代码，即可满足跟踪构造函数参数、避免实例化昂贵对象（如大语言模型）等核心需求，有效改善了因复杂YAML配置导致的无法跳转定义、类型提示失效和重构困难等开发体验问题。
OpenAI 正式推出全新企业部署公司 DeployCo，旨在帮助各类组织将前沿人工智能技术投入实际生产，并转化为可衡量的商业影响。该举措标志着 OpenAI 进一步深入企业服务领域，专注于解决 AI 模型从测试到规模化部署的落地挑战，助力企业通过定制化部署方案提升运营效率与业务成果。
Anthropic 推出 Claude Platform on AWS，将 Claude API 部署在由 Anthropic 管理、可通过 AWS 访问的基础设施上，支持 AWS 账单和 IAM 身份验证。
MachinaCheck是一款基于多智能体AI的系统，旨在革新小型CNC机加工车间的报价分析流程。传统上，车间经理需花费30-60分钟手动分析图纸，而该系统在上传STEP文件及材料、公差等简单输入后，能在30秒内生成完整的可制造性报告，明确指出零件能否制造、所需工具及生产前需采取的行动。其核心在AMD MI300X加速卡上本地运行Qwen 2.5 7B模型，利用192GB HBM3显存确保客户设计数据无需离开本地，满足了制造业对数据隐私的严格要求。系统采用五组件流水线，结合精确的几何特征提取与LLM的制造知识推理，最终输出结构化报告。
自适应并行推理是一种新范式，它让大语言模型能够自主决定何时分解任务、并行处理多少子任务以及如何协调结果，以应对序列推理中因探索路径增长而导致的延迟增加和“上下文腐化”问题。近期研究如ThreadWeaver和Multiverse通过动态控制并行线程，在数学与代码推理基准上取得了显著性能提升，同时大幅降低了延迟。这标志着从固定并行策略到自适应智能控制的转变，为复杂任务的推理提供了高效且可扩展的解决方案。
GitHub 发现运行于每个拉取请求的智能体工作流会累积高昂的 API 成本。团队通过监测自身生产工作流，定位了效率低下的环节，并构建了专门的智能体进行优化。这一举措旨在显著降低由大语言模型调用产生的 Token 消耗与相关费用，直接提升了工作流的经济性与运行效率。
作者开发了一个名为“GitHub Repo Stats”的在线工具，用于解决GitHub移动端网站不显示仓库提交次数的问题。用户只需输入GitHub仓库的URL或“foo/bar”格式的仓库ID，该工具便会通过REST或GraphQL API获取并展示仓库的关键统计数据，其中首要指标就是提交总数。工具已提供实际示例，如查看simonw/datasette和simonw/llm这两个仓库的详细数据。
Replit ⠕精选
OpenRouter精选研究团队开发了SpecMD，这是一个用于在各种硬件配置上对临时缓存策略进行基准测试的标准化框架。该研究聚焦于混合专家模型，这类模型虽然实现了稀疏专家激活，但需要专家缓存机制才能将稀疏性转化为实际性能提升。此前的研究提出了以硬件为中心的缓存策略，但不同缓存策略之间以及它们与不同硬件规格之间的相互作用尚不明确。SpecMD框架旨在填补这一理解空白，系统性地评估缓存策略的交互影响与硬件适配性。
Tilde.run 发布了一款代理沙箱，其核心特点是具备事务性和版本控制功能的文件系统。该系统支持事务操作，确保文件更改的原子性，同时提供完整的版本历史记录。该工具旨在为开发者提供一个安全、可回溯的代码执行环境，适用于需要高可靠性的自动化代理或脚本测试场景。目前该项目已在 Hacker News 上获得 102 点关注度。
为确保 vLLM 从 0.8.5 到 0.18.1 的重大重写后，在线强化学习训练结果与 V0 参考运行一致，团队优先修复后端行为而非调整 RL 目标。关键修复包括：将日志概率模式设为 processed_logprobs 以匹配采样器分布；禁用 V1 特有的前缀缓存和异步调度等运行时默认值；调整权重更新路径以匹配 V0 的缓存保留行为；并确保 rollout 后端使用 fp32 精度的 lm_head 进行最终投影。这些措施消除了策略比率均值偏差，使 V1 在 KL 散度、熵等指标上与 V0 达成一致。
Chubby♨️精选Every product team has a 30-line file in their codebase called pick_model.py. Nine if/else branches. Three retry decorat...
Anthropic为其Claude托管智能体平台推出三项核心更新。“梦想”功能通过回顾会话历史提取模式，使智能体能够自我改进。“成果”功能允许开发者设定成功标准，智能体据此进行自我评估与修正，内部测试显示其显著提升了任务成功率和输出质量。“多智能体编排”功能支持主智能体将复杂任务分解，并分配给配备专用工具的子智能体并行处理。这些更新旨在以最小人工干预，增强智能体处理复杂任务的能力。
Anthropic与SpaceX达成合作，获得其Colossus 1数据中心超300兆瓦（含逾22万块NVIDIA GPU）的算力。此举使Claude Code的Pro、Max等多档计划的五小时速率限制立即翻倍，并取消了高峰时段限流；Claude Opus的API速率也大幅提升。公司还公布了与亚马逊、谷歌、微软等科技巨头的一系列大规模算力协议，总投资额巨大。为满足企业客户的合规需求，算力扩张计划也将覆盖亚洲和欧洲地区。
OpenAI 发布了名为 MRC 的新型超级计算机网络协议，旨在提升大规模 AI 训练集群的韧性与性能。该协议通过开放计算项目公开，支持在数千个 GPU 间建立高效、可靠的多路径连接，能自动绕过故障链路，将网络有效带宽提升最高达 30%，同时显著降低训练作业因网络问题中断的概率。MRC 的设计目标是应对万卡级集群的复杂网络挑战，为下一代大模型训练提供基础设施支持。
为降低大语言模型推理时KV缓存的高昂内存开销，研究提出了一种沿模型深度维度优化的新方法。该方法通过随机KV路由，在Transformer模型的各层之间动态共享KV缓存，而非每层保留完整独立缓存。实验表明，在保持模型质量基本不变的前提下，该方法能将KV缓存的内存占用减少高达50%，为降低大模型服务成本提供了与现有时间轴压缩、淘汰技术正交的新优化路径。
Anthropic发布金融服务行业Claude部署指南，详细介绍了Claude系列产品在金融研究、交易、承销、理赔及月末结算等场景的应用方案。指南包含产品矩阵、10个预置金融智能体模板（如招股书生成器、KYC筛查器等），并分享了AIG、澳大利亚联邦银行等机构的实践案例。同时，提供基础、试点、扩展三阶段实施路线图，旨在协助企业决策者与工程师规划AI落地路径，提升运营效率。
