技术方向
让大模型先想再答的能力：思维链、推理模型，数学与逻辑评测上的突破和争议。
571 条精选近 30 天 41 条共收录 2,916 条
Google DeepMind 发布开源实验模型 DiffusionGemma，采用文本扩散技术，突破自回归逐 token 生成方式，每次前向并行生成 256 个 token。该 26B MoE 模型推理时仅激活 3.8B 参数，量化后适配 18GB 显存消费级 GPU。在 H100 上达 1000+ tokens/s，RTX 5090 上 700+ tokens/s，速度提升 4 倍。具备双向注意力和自我修正能力，面向内联编辑、代码填充等本地交互工作流，以 Apache 2.0 许可证开放。
推荐理由：DiffusionGemma 虽为实验性质，但它把文本生成从“串行打字机”变成了“并行印刷机”，本地推理速度 4 倍提升，对需要实时交互的开发者是个值得关注的方向。
百度百舸团队与复旦大学合作提出Long-horizon Utility KV（LU-KV）框架，将头级KV Cache预算分配建模为面向长程边际效用的全局组合优化问题。LU-KV通过离线画像估计注意力头边际贡献曲线，结合凸包松弛与基于边际效用的贪心求解器，在较低开销下得到接近最优的预算配置，可适配SnapKV、KeyDiff等多类压缩方法。在LongBench和RULER基准上，80%压缩比下性能损失小，降低显存占用和推理延迟。相关论文被ICML 2026录用。
推荐理由：ICML接收的KV Cache压缩新方法，把缓存预算分配从看当前分数改成全局优化，能显著降低显存占用，做长上下文推理的值得细读。
vLLM 宣布原生支持 Google DeepMind 的 DiffusionGemma，一个基于 Gemma4 骨干、26B 参数的离散扩散语言模型，也是 vLLM 支持的首个 dLLM。
推荐理由：vLLM 与 Google DeepMind 合作方联合撰写，官方说明首个支持 dLLM 的架构改动与吞吐数据，可了解扩散语言模型的部署路径。
Anthropic 发布 Claude Fable，这是一款提供截然不同推理体验的 AI 模型。它擅长规划与生成复杂代码库，在需要精确构建代码结构或理解程序员深层需求的场景中，其表现相比 Claude Sonnet 有了大幅提升。用户描述与它协作更像与一位直觉敏锐的资深工程师合作，其对代码意图的捕捉和方案生成能力令人惊叹，但并非通用型 AI。
推荐理由：Ethan Mollick 对 Mythos 级模型的实际体验，比任何参数对比都更清晰地描绘了未来人机协作的形态改变：从“指导者”变成“赞助者”。这篇体验不是评测，是一个信号。
Gemini 2.5 Flash API 的定价与快速入门指南，指导用户配置 thinking budgets、比较不同提供商，并在 5 分钟内完成首次 API 调用。
推荐理由：Gemini 2.5 Flash 最值得关注的是 thinking budget，这篇教程把怎么用、怎么省都讲清楚了，但对早已熟悉文档的开发者来说新东西有限。
小米 MiMo 与 TileRT 联合发布 MiMo-V2.5-Pro-UltraSpeed 模式，使 1T 参数旗舰模型输出速度首次突破 1000 tokens/s。模型侧采用 FP4 混合量化（仅量化 MoE Expert）与 DFlash 块级 masked 并行推测解码（coding 场景平均接受长度 6.30 tokens）；系统侧 TileRT 引入常驻内核引擎与异构流水线协作。API 限时开放（2026 年 6 月 9 日至 23 日），定价为 MiMo-V2.5-Pro 的 3 倍，速度提升约 10 倍。FP4 权重与 DFlash 模型 checkpoint 已开源至 HuggingFace。
推荐理由：万亿模型首次在通用GPU上突破1000 tokens/s，不是专用硬件的胜利而是模型与系统Codesign的胜利，做实时AI应用的都应该盯紧这一套方案。
Xiaomi MiMo-V2.5-Pro 的 UltraSpeed 模式与 TileRT 联合发布，让 1T 参数旗舰模型输出速度首次突破 1000 tokens/s，仅用一个标准 8 卡通用 GPU 节点实现。
推荐理由：万亿模型在通用 GPU 上跑出 1000 tps，把实时金融风控、量化交易和医疗影像等对延迟敏感的场景从「不可用」变为「可能」，且方法可复现。
OpenAI 发布计划，阐述让 AGI 造福所有人的愿景。该计划聚焦于 AI 的可及性、安全性和共享繁荣，确保技术进步惠及每个人。
推荐理由：Altman 和 Pachocki 把 OpenAI 的下一步讲清楚了，2028 年让 AI 做大部分研究的内部目标很具体，这比任何产品发布都更能说明他们对 AGI 的判断。
小米在 6 月 8 日发布 MiMo-v2.5-Pro-UltraSpeed 模型，拥有 1T 参数规模，推理速度达到每秒 1000 个 token。该模型来自小米旗下的 mimo.xiaomi.com 项目。
推荐理由：小米把万亿模型推上 1000 tokens/s，不是纸面速度，而是模型与系统深耦合的结果，对实时推理和编程智能体是真正可落地的信号。限时申请有点可惜，但开源部分值得关注。
三大力量重塑 AI 成本：前沿闭源模型持续涨价，开源模型在多数场景已足够好，买家开始替代。Coinbase 将提示词路由至更便宜模型，成本持平但 token 用量指数增长。Lindy 全切至 DeepSeek v4，节省数百万美元且多项核心性能提升。Harvey 在 Legal Agent Benchmark 上通过 SFT 使 Kimi 2.6 all-pass 率达 15%，超越 Opus 的 14%，同一 100 任务成本 $84 vs $954（约 11 倍价差）。Cursor 后训练 Kimi K2.5 得到 Composer 2.5，称其“性能优异且效率高达同类模型 10 倍”。闭源越来越贵，开源平价且性能接近，选择决定企业单位经济学的斜率。
推荐理由：Tunguz 用 Coinbase、Lindy 等真实案例，把「用开源/便宜模型替代昂贵前沿模型」的趋势讲透了，做 AI 应用的人该重新算一下单位经济账。
NotebookLM@NotebookLM精选AI 评分7272
推荐理由：NotebookLM 这次升级把 agent 能力塞进聊天框，从被动答案变成能拆解多步研究，对深度资料整理的人是真迭代，但仅限 Google AI Ultra 订阅，门槛不低。
MiniMax M3采用MaxProof框架，在IMO 2025和USAMO 2026两项数学奥赛基准上超越人类金牌线。框架分三阶段训练：Proof RL使用生成式验证器提供奖励，进行长程强化学习提升证明生成能力；Verifier Alignment将验证对齐为错误定位任务；Refinement Augmentation利用训练中产生的错误证明与验证分析对，通过拒绝采样微调修复能力。三者合并为M3通用模型。系统通过低假阳性率过滤噪声，保证RL稳定性。
推荐理由：M3在数学奥赛上搞定人类金牌，靠的是用生成验证器做RL和进化搜索，这套组合对复杂推理任务的普适性可能比提高一个benchmark分数更有价值。
Xiaomi MiMo@XiaomiMiMo精选AI 评分8282推荐理由：小米用单节点8卡标准GPU在1T MoE模型上跑出1000+ tokens/s，没有走晶圆级或专用芯片的路子，直接把推理成本门槛拉低了一大截，做实时对话和Agent的可以申请免费聊天先上手感受一下。
通义实验室教程演示了如何用 Agent（Qoder）辅助完成 Qwen3-VL-2B 模型在 Android 端侧的全流程部署。操作包括：检查 JDK 21、NDK 27、CMake 3.18.1 等环境；创建 arm64-v8a 的 Native C++ 工程（minSdk 29、compileSdk 35）；通过 ModelScope CLI 下载约 1.4GB 的 MNN/Qwen3-VL-2B-Instruct-MNN 模型；编译开启 LLM 视觉支持（MNN_BUILD_LLM、LLM_SUPPORT_VISION）的 libMNN.so；构建 APK 并推送模型至手机私有目录。最终 App 提供图文推理页面，输出 MNN 版本（v3.5.0）、ABI 及推理指标。所有繁琐步骤均可由 Agent 自动执行。
推荐理由：用Agent辅助走通Qwen3-VL安卓端侧推理全流程，从环境搭建到JNI桥接一步到位。如果你在做移动端AI应用，这可能是目前最详细的实战指南，可以直接抄作业。
OpenCV 5 正式发布，采用基于图的 DNN 引擎，ONNX 算子覆盖率从 4.x 的不到 23% 提升至超 80%，原生支持 Transformer、视觉语言模型（VLM）和大语言模型（LLM）。其他更新包括：更好的 Python 集成与命名参数、更紧凑核心代码、清晰硬件加速层、原生 FP16/BF16、规范化 0D/1D 张量、扩展 3D 视觉及现代化文档。该库 GitHub 拥有超 86,000 stars，每日安装量超一百万次。
推荐理由：OpenCV 5 是一次架构级大更新，DNN 引擎重写、ONNX 覆盖率从 23% 跳到 80%，原生支持大模型推理，做模型部署的该关注了。
Stem算法通过Token位置衰减（TPD）和输出感知度量（OAM）两项创新，仅用25%算力即逼近稠密注意力精度。配套HPC算子针对Hopper架构优化，支持FP8量化与vLLM的Paged KV Cache，在混元Hy3 preview上实现首字延迟降低3.6倍。HPC-BSA相比MIT-BSA稳定保持约3倍加速，在8K至256K序列长度上表现一致。
推荐理由：把稀疏注意力从一刀切升级成按信息流分配预算，算子在Hopper上把理论加速几乎无损转化，3.6倍首字延迟下降不是灌水——做长上下文应用的值得照着开源代码试。
Tencent Hy@TencentHunyuan精选AI 评分7474推荐理由：腾讯混元联合人大开源的 PlanningBench，补上了 LLM 从「会说」到「会做」之间规划能力评估的缺口，做 Agent 的同学可以直接用来评测和训练，开源即用。
SiliconFlow@SiliconFlowAI精选AI 评分7272推荐理由：后训练模型能直追 GPT-5.5 和 Claude 4.7，免费两周，对做 agent 和 deep search 的人来说是难得的低成本试错机会。
StepFun@StepFun_ai精选AI 评分7777许多研究实验室只在事后才考虑推理效率。Step 3.7 Flash 是一个 198B 稀疏 MoE VLM，由 @StepFun_ai 从一开始就为推理而设计。196B 语言主干，搭配 1.8B 视觉编码器。 为真实世界的智能体工作负载而构建，运行速度最高可达 400 tok/sec。原生多模态理解与行动、可靠的工具使用，以及增强的网页与视觉搜索。 Apache 2.0。立即试用 → https://fireworks.ai/models/fireworks/step-3p7-flash-nvfp4
推荐理由：198B稀疏MoE加MTP解码把速度推到400 tok/s，还开源Apache 2.0，这规格做agent的大脑正合适，做实时应用的可以试试手。
OpenRouter 在 30 场机器人冲刺对决中测试了 11 款大语言模型，共耗 482 美元推理成本。结果指向一个发现：应该重新审视模型 benchmark 的解读方式。
推荐理由：第一次看到对齐税被游戏化量化，Grok能赢是因为它没被训练成好人，Claude总想组队则拖后腿，怎么选模型得看你想要哪种人。