技术方向
怎么把模型跑得更快更省钱：推理加速、显存与成本、服务部署与基础设施选型。
649 条精选近 30 天 62 条共收录 4,263 条
Claude 将 Message Batches API 中 Opus 4.6 和 Sonnet 4.6 的 max_tokens 上限提升至 300k，需添加 `output-300k-2026-03-24` beta header 以生成长篇内容、结构化数据和大规模代码。
推荐理由：Claude把max_tokens提到30万，对需要生成长篇内容的开发者是个实打实的解放，之前被输出长度卡住的产品可以放开了。虽然旧版1M上下文窗口被淘汰，但迁移到新模型路径清晰，不算坏事。
本报告介绍了代码模型Composer 2的训练过程。该模型基于开源基础模型Kimi K2.5，通过两阶段训练：首先进行侧重代码的持续预训练以深化编码知识，随后在高度模拟真实Cursor环境的大规模强化学习中提升端到端智能体性能。在自建的真实任务评估集CursorBench上，Composer 2得分为61.3，较前代提升37%，与前沿模型性能相当。在公开基准SWE-bench Multilingual和Terminal-Bench上分别获得73.7和61.7分，并在保持高精度的同时实现了显著更低的推理成本。训练依托为Blackwell GPU定制的高效MoE训练内核、跨区域异步强化学习管道等大规模基础设施完成。
推荐理由：Cursor 把 Composer 2 的训练全流程摊开讲了，从 Kimi K2.5 继续预训练到大规模 RL，关键是 RL 在真实 Cursor 会话里跑，不是玩具环境。做 coding agent 的团队，这份报告值得逐段拆。
Andrej Karpathy@karpathy精选当 @karpathy 构建 MenuGen（https://karpathy.bearblog.dev/vibe-coding-menugen/）时，他说： "Vibe coding menugen 作为本地演示是一段令人兴奋又有趣的冒险，但作为已部署的真实应用，就有点像是痛苦的苦差事了。构建一个现代应用有点像组装宜家的未来。有各种各样的服务、文档、API 密钥、配置、开发/生产部署、团队和安全功能、速率限制、定价层级。" 我们在用智能体构建时都遇到过这个问题：你必须匆匆忙忙地去创建账户，在浏览器里点来点去，仿佛回到了 2023 年那种上古时代，才能解除阻碍它那超级智能的进展。 所以我们决定构建 Stripe Projects，帮助智能体从 CLI 即时配置服务。 例如，只需运行： $ stripe projects add posthog/analytics 它就会创建一个 PostHog 账户、获取一个 API 密钥，并（在需要时）设置计费。 Projects 今天作为开发者预览版发布。你可以在 http://projects.dev 注册获取访问权限（我们很快就会向所有人开放）。我们还将在未来几周内推出对许多新提供商的支持。（如果你想让你的服务可用，请联系我们。） https://projects.dev
推荐理由：Karpathy指出Vibe Coding最大痛点是DevOps集成，Stripe Projects让Agent直接CLI配置服务免人工点击
PromptArmor 披露 Snowflake Cortex Code CLI 存在漏洞，间接提示词注入可绕过人工审批和沙箱，下载并执行恶意脚本。漏洞源于进程替换 <() 表达式未被命令校验系统检查，且智能体可设置 dangerously_disable_sandbox 标志在沙箱外执行命令；攻击者可利用缓存的 Snowflake 凭证窃取数据、删表或加后门用户。
推荐理由：原文完整披露了攻击链、绕过机制和修复时间线，读者可以借此理解 Agent CLI 在沙箱和审批环节的失效路径。
Hao AI Lab@haoailab精选
推荐理由：AI视频生成速度突破实时阈值，单GPU秒级出片可直接上手体验
Hao AI Lab@haoailab精选AI 评分6565推荐理由：视频生成从「等一分钟看结果」变成「边看边改」，这个交互范式转变比模型本身更值得关注。做内容创作工具的产品人，这个 demo 值得花五分钟体验一下实时迭代的手感。
Greg Brockman@gdb精选GPT-5.4 上线一周内日处理 token 量达 5T，超过去年同期整个 API 的总量，年化新增净收入达 10 亿美元，增速创历史纪录。模型质量出色，值得试用。
推荐理由：OpenAI史上增长最快模型，API周处理量超去年全年，开发者正大规模迁移
Manus 发布 Manus 2.0 桌面应用的核心功能"我的电脑"，将 Agent 从云端扩展到用户本地电脑，通过在本地终端执行命令行指令来读取、编辑文件和控制应用，现已面向所有 macOS 和 Windows 用户开放。
推荐理由：Manus 官方说明桌面端如何通过终端命令操作本地文件与应用，并保留逐条审批机制，可帮读者评估本地 Agent 工作流的收益与权限代价。
YC 孵化的 Compresr 发布 Context Gateway，在 AI Agent 与 LLM 间自动压缩过长对话历史。后台预计算实现即时压缩，支持 Claude Code、Cursor 等，默认 75% 上下文阈值触发。curl 一键安装，TUI 向导配置。
推荐理由：YC背书的Agent上下文压缩工具，自动优化长对话，支持Claude Code等主流Agent
Dylan Patel 深度解析了制约 AI 算力规模扩张的三大核心瓶颈：电力基础设施限制、先进制程芯片产能不足以及网络互联带宽瓶颈。尽管 NVIDIA H100 已发布三年，受供需严重失衡及新一代芯片交付延迟影响，其市场价格与战略价值持续攀升，当前实际价值甚至超过发布初期。文章指出，这些结构性约束正重塑 AI 基础设施的投资逻辑与部署节奏。
推荐理由：顶尖硬件分析师拆解AI算力扩张的三大瓶颈，揭示H100为何比三年前更值钱
Claude Opus 4.6 和 Sonnet 4.6 的 1M token 上下文窗口现已正式可用，按标准定价计费，超过 200k token 的请求无需 beta header 即可自动生效。同时，所有支持模型的专用 1M 速率限制已移除，改用标准账户限制；使用 1M 上下文窗口时，每请求的媒体上限从 100 提升至 600 张图片或 PDF 页面。
推荐理由：Claude 的百万 token 上下文终于从 beta 转正，200k token 以上请求不再需要 beta 头，媒体文件限制一口气提到 600 页，做长文档处理的开发者可以直接切生产。
Thinking Machines Lab 与 NVIDIA 宣布多年期战略合作，将部署至少 1 GW 的新一代 NVIDIA Vera Rubin 系统，用于 Thinking Machines 的前沿模型训练和可定制 AI 平台，目标明年初上线部署。
推荐理由：官方公告给出了合作规模、部署时间线和投资信息，读者可以据此了解这家前沿模型公司的算力布局。
同步强化学习训练中，数据生成是主要瓶颈，如在320亿参数模型上生成3.2万令牌样本需数小时，导致训练GPU闲置。业界主流解决方案是将推理与训练解耦到不同GPU池，通过rollout缓冲区连接并异步传输权重。本文调研了16个实现此模式的开源库，从编排原语、缓冲区设计、权重同步协议、陈旧数据处理、部分rollout支持、LoRA支持及分布式训练后端七个维度比较。关键发现：Ray在编排层占主导（8/16库使用），NCCL广播是默认权重传输方式，LoRA训练支持普遍不足，而分布式MoE支持正成为新差异化特性。
推荐理由：异步RL训练架构对比，助开发者优化训练效率与库选型。
Hugging Face Hub 发布 Storage Buckets，这是一种为机器学习工作流设计的可变、类 S3 的对象存储服务。它基于 Xet 存储后端，能对跨文件共享内容的 ML 工件进行高效去重，从而节省带宽、加速传输并降低存储成本。该服务还提供“预暖”功能，可将数据预先迁移至靠近计算资源的云区域，以提升分布式训练等场景的效率。目前支持 AWS 和 GCP，用户可通过 CLI 或 Python 库在 2 分钟内快速创建和同步存储桶。
推荐理由：ML 开发者可高效管理训练数据和检查点，节省存储成本并加速工作流。
LangChain 团队介绍其基于 Deep Agents 构建的 GTM Agent，端到端自动化销售外联流程，从 2025 年 12 月到 2026 年 3 月 lead 转合格商机的转化率提升 250%，同期 pipeline 金额达 3 倍，每位销售每月节省 40 小时。
推荐理由：作者复盘了自己团队的完整落地过程，给出从成功定义、评测到记忆反馈的可复用 Agent 工程方法。
研究团队发布了Ulysses序列并行方法，这是一种用于训练大型语言模型的新技术。该方法通过将长序列在设备间进行特定维度的分割与重组，实现了对极长上下文的并行处理。其核心变化在于能高效训练上下文长度高达百万令牌的模型，突破了现有方法在序列长度上的扩展瓶颈。这一进展使得在保持高训练效率的同时，处理书籍、长文档等超长文本成为可能，为推进AI的民主化与开源发展提供了关键技术支撑。
推荐理由：百万 token 训练的序列并行方案，长上下文模型训练的关键工程突破
Together AI 发布 FlashAttention-4，通过算法与内核协同设计最大化 Blackwell GPU 上矩阵乘与 softmax、显存操作的并行重叠。
推荐理由：原文给出 B200 上 attention 瓶颈的实测分析和 FA4 的算法内核协同设计细节，方法可迁移到非对称硬件优化。
LlamaIndex 官方宣布公司使命收窄为构建智能体文档处理基础设施（OCR、抽取与工作流），不再定位为单纯的 RAG 框架。
推荐理由：官方复盘了通用 LLM 框架价值下降的原因，并说明转向文档基础设施的动机和产品布局，读者可借此理解框架类公司的转型逻辑。
OpenAI 披露与 Department of War 达成的协议内容，详细划定 AI 部署的安全红线，明确相关法律保障措施，并具体说明 AI 系统接入机密环境的部署方式。
推荐理由：OpenAI官方披露与军方合作的安全红线与机密部署框架
为提升超长上下文下的计算效率，Ling 2.5架构将Ling 2.0的GQA改造为1:7的Lightning Attention与MLA混合线性注意力。此举旨在利用Lightning Attention提升长序列吞吐，并通过MLA极致压缩KV Cache。为确保改造后性能无损，团队设计了精细的平滑迁移训练策略，包括权重转换、QK Norm融合与Partial RoPE改造等多阶段加训。Scaling Law实验确定了1:7为最优混合比例，最终使万亿参数模型实现了更低的计算成本与更高的长文本推理效率。
推荐理由：为大模型长上下文优化提供可落地的工程实践参考。