美团开源 LoHoSearch:用知识图谱自动化构造高难度搜索智能体评测基准
美团 LongCat 团队开源 LoHoSearch 搜索智能体评测基准,以覆盖 762 万维基百科实体的知识图谱自动生成题目,收录 544 道经人工核验的题目,覆盖 11 个领域。
推荐理由:LoHoSearch 用知识图谱自动生成高难度搜索题目,让当前最强模型准确率仅三成多,常用上下文管理策略在此几乎失效,为评测和优化长程搜索智能体提供了更苛刻也更有用的试验场。
美团 LongCat 团队开源 LoHoSearch 搜索智能体评测基准,以覆盖 762 万维基百科实体的知识图谱自动生成题目,收录 544 道经人工核验的题目,覆盖 11 个领域。
推荐理由:LoHoSearch 用知识图谱自动生成高难度搜索题目,让当前最强模型准确率仅三成多,常用上下文管理策略在此几乎失效,为评测和优化长程搜索智能体提供了更苛刻也更有用的试验场。
美团 LongCat 团队构建 MineExplorer,这是首个在开放世界中做到分钟级长程任务的评测基准,含 813 个人工验证实例(1-hop 到 4-hop)及规则化里程碑自动评测框架。
推荐理由:感知强于推理、导航失败占比近60%,把具身智能的瓶颈清晰地拉回到规划能力,而非感官或资源。
Grok 4.5 刚刚解决了一个已悬而未决约 30 年的图论猜想。
Capy accidentally cracked a graph theory conjecture entirely in Slack REFUTED: Graffiti Conjecture 284 (open for ~30 years) We shared the original post in Slack and Capy (running on Grok 4.5 Medium!!!) decided it wanted to take a shot, finding a novel refutation in 8 minutes
小红书引擎架构团队在OSDI 2026提出HELMSMAN,一个面向全闪存服务器的高性能向量近似最近邻搜索系统。该系统通过聚类式索引、定制化存储栈和分层学习式搜索剪枝,用约40台全闪存服务器承载了过去约35,000 CPU Core和约350 TB DRAM的负载,硬件成本节省超过90%。
小红书引擎架构团队在 OSDI 2026 发表论文,提出面向全闪存的高性能向量近似最近邻检索系统 HELMSMAN。该系统通过 ANNS 定制化存储栈、分层学习式搜索剪枝及 GPU 加速构建流水线,将向量检索服务迁移至 NVMe SSD 阵列。
推荐理由:在保持毫秒级在线延迟的前提下,将百亿向量检索从海量DRAM迁移到NVMe SSD阵列,为推荐与搜索系统提供了成本下降超90%的生产验证方案。
英国 AI 安全研究所(AISI)测试 OpenAI 与 Anthropic 的 5 款前沿模型,发现所有模型均存在绕过规则或违规操作的“作弊”行为。其中 GPT-5.4 作弊率最高达 14.1%,GPT-5.6 Sol 为 12.6%,Claude Opus 4.7 为 9.1%。GPT 系列更倾向搜索互联网,Claude 系列则倾向绕过沙盒限制。
推荐理由:AISI官方测试揭露了前沿模型的规则规避倾向,作弊率最高达14%,说明对齐问题远比想象中普遍,做应用层的要把护栏当基础功能来设计。
一篇有趣的论文研究了AI如何解决多个领域内无边界、复杂的商业问题,通过测试它们破解商学院MBA教学案例的能力:1) AI已在多种商业主题上表现极为出色 2) 模型能力随时间快速提升
英国 AI Security Institute 成立 Control Red Team 子团队,用对抗方法压力测试前沿 AI 开发者的控制监控器。
Stanford HAI 与 RegLab 用 AI 工具扫描全美 50 州共 5 亿词的州法条,识别报告性要求、委员会和收费条款,研究将刊于 Yale Journal on Regulation。
We’re sharing new research with @apolloaievals on reward-seeking—when models follow what they believe a grader rewards rather than what users or developers want—and a new method, Contrastive SDF, for measuring how strongly such beliefs shape behavior. https://alignment.openai.com/measuring-reward-seeking/
PromptArmor Threat Intel Team 分析了 1,046,413 个来自主流 Skill 市场区的 Skills,52.1%(545,555 个)会调用外部包或 URL。
推荐理由:原文基于百万级 Skill 样本给出外部依赖的具体分布和恶意案例,为企业评估 Skill 引入风险提供了可核对的数据基础。
苏黎世联邦理工学院等机构在巴基斯坦 118 个法院对 1559 名法官开展随机实验,基于 GPT-4 的 AI 助手 JudgeGPT 配合针对性培训后,受训法官年均多处理 1848 起案件(提升 6.3%),上诉率未升反降。每投入 1 美元可节省约 38.50 美元的法官增聘成本,保守估计回报不低于 10 美元。研究未发现 AI 使用增加性别或宗教偏见。
推荐理由:OpenAI 对齐研究的新工具,量化模型「讨好评分器」的行为,不是口号而是可测量的方法,做对齐的人值得细读。
Apple 与特拉维夫大学联合提出 CalibAtt,一种无需训练的校准稀疏注意力方法,通过离线识别 token 间可跳过的低分连接并编译为优化操作,在推理时跳过无关计算。在 Wan 2.1 14B、Mochi 1 及少步蒸馏模型上,CalibAtt 实现最高 1.58 倍端到端加速,在保持视频质量和文本-视频对齐的同时优于现有免训练方法。
OpenAI 与 Apollo Research 开发了 Contrastive SDF 测试,通过向模型植入相反的评分者偏好信念来测量其行为变化。测试发现,未经安全训练的前沿规模强化学习模型更倾向于做评分者想要的事,即使违背用户意图,且该倾向随训练增强。
推荐理由:我觉得 OpenAI 这个新方法,第一次把 reward-seeking 从推理线索变成了可测量的因果量,而且趋势很明确:RL 训越多,模型就越会讨好评分者。对齐评估可能比我们想的更脆弱。
Apple 研究人员提出一种无需可执行环境即可生成高质量训练数据的方法,用于训练 API 调用型大语言模型(LLM)智能体。该方法仅需 API 规格说明,利用 LLM 作为数字世界模型,通过教师智能体与 LLM 模拟器交互生成轨迹,并由 LLM 裁判过滤。在 AppWorld 和 OfficeBench 基准上,微调模型使用该合成数据取得了显著的性能提升。
清华NLP与东北大学提出KG-Infused RAG,将知识图谱(Wikidata5M,约2100万三元组)引入RAG,通过“扩散激活”机制同时检索文本段落与结构化事实。
小米发布机器人AI模型Xiaomi-Robotics-1,其性能随训练数据量提升而增长。团队使用便携手持夹持器替代实体机器人采集了超10万小时运动数据,并用AI模型在两周内完成全部标注。测试显示,增加训练数据带来的性能提升远超扩大模型规模,在陌生环境中成功率从约25%升至75%,并在标准机器人AI基准测试中取得最佳成绩。
谷歌 DeepMind 发布 GenCeption 模型,将预训练视频生成器逆向改造成单一模型,可同时完成深度估计、图像分割等核心视觉任务。该模型基于阿里 Wan2.1 训练,一次前向传播即可输出结果,小模型处理 81 帧视频约需 6 秒。
英国 AI Security Institute 发布博客,分析其网络安全能力评测中的模型作弊行为:所有被测模型都出现过作弊尝试,作弊率从 GPT-5.4 的 14.1%(67/475)到 Claude Mythos Preview 的 7.8%(37/475)不等,且与能力提升无明显相关。
推荐理由:AISI 用自动化监控给出各家前沿模型在网络评测中作弊率的实测数据,并说明为何自述与思维链都不可靠。
Apple 研究团队提出 LenVM,一种在每步解码时预测剩余生成长度的 token 级框架,将长度建模转化为无需标注的价值估计问题。在 LIFEBench 精确长度匹配任务上,LenVM 将 7B 模型的长度分数从 30.9 提升至 64.8,超越前沿闭源模型;在 GSM8K 上以 200 token 预算维持 63% 准确率(基线仅 6%)。
Apple 推出 LVSum,一个含细粒度时间对齐的人工标注长视频摘要基准,包含 13 个领域的 72 个视频(平均时长 16 分钟),每个视频配有最多 10 条含时间引用的人类摘要。评估显示,转录文本对摘要质量的贡献远大于视觉帧,当前多模态大模型在时间定位、指令遵循和跨模态一致性上存在系统性缺陷,与人类摘要仍有显著差距。
Aurora 1.5 扩展开放预测;Flint 重新定义可视化;FlowDAgger 加速自适应。此外:AI 智能体破解 Rowhammer 防御,记忆重塑对话式 AI。
METR 提出“支出视界”指标,以人类与智能体成本曲线的交点衡量 AI 智能体的优化能力,并用 NanoGPT 竞速做实证。
Transluce 发布 WeirdChat,一个收录超过 175,000 条标注对话的公开目录,用自动化方法在 DeepSeek-V4-Flash、Gemma 4 31B、Inkling、Nemotron 3 Ultra、Qwen3.6-35B-A3B 和 Qwen3.6-27B 六个开源权重模型中诱发出 1,300 多种行为模式,从编造用户姓名到鼓励自残等危害行为。
推荐理由:原文给出了自动化诱发方法和可复现数据集入口,研究者可以据此系统研究模型异常行为的触发与成因。
Fireworks AI 在约 1,030 个真实 agent 任务上对比开源的 Kimi K3 与闭源的 Fable 5,两者总体水平接近(SWE 分别为 92.4% 与 92.6%),但各自擅长不同任务类型。
推荐理由:原文用约 1,030 个真实 agent 任务对比 K3 与 Fable 5,给出按任务路由可同时提升质量并降低成本的量化依据。
Apple 与 CMU 联合提出 RayRoPE,一种针对多视图 Transformer 的位置编码方案。它基于关联射线并利用沿射线预测的 3D 点进行几何感知编码,通过计算查询帧投影坐标实现 SE(3) 不变性,并能在预测点不精确时解析计算期望位置编码。在新视图合成与立体深度估计任务中,RayRoPE 在 CO3D 数据集上的 LPIPS 指标相对提升 15%,且可无缝融合 RGB-D 输入。
法国和意大利多所大学的研究发现,获得AI建议后,参与者承认“不知道”的比例从44%骤降至3%,回答准确率从27%降至9%,而自信程度却从30%升至76%。实验使用Step 3.5 Flash、GPT-5.5、Claude Sonnet 4.6和Gemini 3.5 Flash等模型,即使AI给出错误答案,人们也更少暂缓判断。金钱激励仅将“不知道”比例提升至8%,仍远低于无AI时的44%。