Cohere Labs 提出 RCP-nDCG@10:用校准 AI 评委更完整地衡量检索相关性
Cohere Labs 推出 RCP-nDCG@10,一种用校准 AI 评委按统一相关性评分标准逐条评估检索文档的评测方法,以弥补传统 nDCG 依赖人工标注 qrels 造成的覆盖缺口。其 46 人人工标注研究显示,qrels 预测人类相关性判断的 AUC 仅 0.65,而 LLM 校准相关性评分可达 0.91;被基准标为不相关的文档中 28% 被人类判为有用。该指标已用于优化其下一代搜索模型。
Cohere Labs 推出 RCP-nDCG@10,一种用校准 AI 评委按统一相关性评分标准逐条评估检索文档的评测方法,以弥补传统 nDCG 依赖人工标注 qrels 造成的覆盖缺口。其 46 人人工标注研究显示,qrels 预测人类相关性判断的 AUC 仅 0.65,而 LLM 校准相关性评分可达 0.91;被基准标为不相关的文档中 28% 被人类判为有用。该指标已用于优化其下一代搜索模型。
Google Research 提出 Retrieve-for-Train 框架,通过离线强化学习发现奖励对齐的查询扇出并编译为监督信号,再蒸馏进一个 53.9M 参数的扩散检索器,实现推理时单次非自回归的查询扇出,无需生成 CoT 推理 token。该方法基于 Gemma3-4B 和 Qwen3-4B 微调,旨在解决零样本 LLM 的复述坍缩与自回归延迟瓶颈,论文已被 ICML 2026 收录。
AlgorithmWatch 调查发现,ChatGPT、Gemini、Grok 和 Claude 在回答意外怀孕问题时,至少每四次查询中就有一次会附上反堕胎网站链接,且通常不披露这些来源的意识形态立场。
现代 AI 智能体依赖搜索基础设施执行神经符号推理,常编译为深层嵌套的非单调布尔查询。标准倒排索引查询评估策略面临严重理论限制:有状态迭代器模型(Document-at-a-Time)受 NC^1 公式评估结构约束,展开重汇聚逻辑时最坏情况查询复杂度呈 O(2^|Q|) 指数级爆炸。
Artificial Analysis 发布 Search Index 基准,在统一智能体设置下用 GPT-5.6 Luna 评测 Parallel、Exa、Firecrawl 等 7 家搜索 API 提供商。
美团技术团队 8 篇论文被 KDD 2026 收录,覆盖推荐大模型、奖励建模、智能体搜索、自动竞价等领域,其中 MTFM 已构建统一基座推荐大模型并完成全量,MTGenRec 相比 TorchRec 取得 1.6 倍~2.4 倍训练加速。大众点评技术部获 2026 KDD Cup DataAgents 赛道冠军与季军,相关代码已在 GitHub 开源。
小红书、上海交通大学、华中科技大学和北京理工大学联合提出 UniNote,将多模态表示学习与排序能力融合于单一模型。通过两阶段训练(对比 SFT 强化表示 + 强化学习排序优化),UniNote 在单次嵌入传递中实现与两阶段检索-排序范式相当的性能,并大幅降低延迟。
小红书联合上海交大、华中科大、北理工提出 UniNote,将多模态表示学习与排序优化融合于单一嵌入模型,替代传统“Embedder + Reranker”两阶段管道,在单次嵌入传递内实现相当性能并大幅降低延迟。
美团 LongCat 团队开源 LoHoSearch,一个基于知识图谱自动生成题目的搜索智能体评测基准。该基准以 762 万维基百科实体构建知识图谱,生成 544 道经人工核验的题目,覆盖 11 个领域。当前最强模型 GPT-5.5 准确率仅 34.74%,远低于其在 BrowseComp 上的表现,表明 LoHoSearch 对长程搜索构成实质挑战。
美团 LongCat 团队开源 LoHoSearch 搜索智能体评测基准,以覆盖 762 万维基百科实体的知识图谱自动生成题目,收录 544 道经人工核验的题目,覆盖 11 个领域。
推荐理由:LoHoSearch 用知识图谱自动生成高难度搜索题目,让当前最强模型准确率仅三成多,常用上下文管理策略在此几乎失效,为评测和优化长程搜索智能体提供了更苛刻也更有用的试验场。
小红书引擎架构团队在OSDI 2026提出HELMSMAN,一个面向全闪存服务器的高性能向量近似最近邻搜索系统。该系统通过聚类式索引、定制化存储栈和分层学习式搜索剪枝,用约40台全闪存服务器承载了过去约35,000 CPU Core和约350 TB DRAM的负载,硬件成本节省超过90%。
小红书引擎架构团队在 OSDI 2026 发表论文,提出面向全闪存的高性能向量近似最近邻检索系统 HELMSMAN。该系统通过 ANNS 定制化存储栈、分层学习式搜索剪枝及 GPU 加速构建流水线,将向量检索服务迁移至 NVMe SSD 阵列。
推荐理由:在保持毫秒级在线延迟的前提下,将百亿向量检索从海量DRAM迁移到NVMe SSD阵列,为推荐与搜索系统提供了成本下降超90%的生产验证方案。
推荐理由:BrowseComp 快被刷到顶了,LongCat 甩出 LoHoSearch,前沿模型集体回落到三成出头——搜索 agent 的真正挑战才刚开始,这个基准可能是下一个必测项。
Apple 提出一种混合文本与 ID 嵌入方法,用于增量视频搜索中每次按键后的高质量排序。该方法在意图不明确(如仅输入 1–3 个字符)时仍能提升个性化排序效果。研究来自 Apple Machine Learning Research,未公布具体 benchmark 分数或可用性细节。
苹果机器学习研究团队提出摊销MIPS方法,训练神经网络直接预测最大内积搜索(MIPS)的解。核心思路是将MIPS值函数建模为键集的凸支撑函数,其梯度指向最优键。据此设计两种互补模型:SupportNet(输入凸神经网络拟合支撑函数,用作聚类路由)和KeyNet(向量值网络直接回归最优键,可替换原始查询输入索引流水线)。在BEIR基准文档嵌入实验中,两种模型在FLOPs、探测次数或时钟时间等计算开销指标下均显著提升IVF匹配率。代码已开源。
Together with researchers at Boston Children’s Hospital and Harvard, we published a study in NEJM AI showing how o3 Deep Research helped clinicians revisit previously unsolved rare pediatric disease cases, and find answers for families who had waited years.
Google Research 在《JAMA Dermatology》发表两项研究,探索 AI 帮助普通人理解自身皮肤问题。一项涉及 2345 名参与者的定量研究显示,AI 辅助显著提升了用户识别皮肤疾病名称的能力,并影响了其就医或自我护理的下一步决策。另一项混合方法研究对比了用户通过 AI 工具与医生对话获取的认知。这些工作基于此前开发的 AI 鉴别诊断模型和 SCIN 数据集,旨在通过高质量信息支持皮肤健康决策。
哈佛大学与 Perplexity 联合发表论文,采用匹配对会话方法对比自主 AI 智能体与搜索助手。结果显示,AI 智能体每会话可自主工作 26 分钟,而搜索助手仅能完成 33 秒的自主工作。智能体在自主性、时间效率与成本方面均实现大幅提升,并且尝试的工作范围更为广泛。
哈尔滨工业大学研究人员发现,包括 GPT-5.4 和 Kimi K2.6 在内的领先 AI 搜索代理,在已有的基准测试上并未进行太多真正的网络研究。它们主要利用网络来确认其在训练阶段已学到的知识。研究团队使用名为 LiveBrowseComp 的新基准测试得出了该结论,此测试仅涉及过去 90 天内的事件。当模型无法依赖既有记忆时,其表现显著下降,现有的性能排名也随之改变。
Meta 推出SilverTorch推荐系统架构,统一了用户生成内容的所有检索组件。该架构吞吐量比现有技术高23.7倍,计算成本效率比CPU方案高20.9倍,同时提升了准确性。
推荐理由:SilverTorch 把索引本身变成模型,在推荐检索上拿到 23 倍吞吐提升,这个思路对搜索和推荐工程师都有启发,虽然离普通人有点远。
小红书引擎架构团队在ICDE 2026提出一种面向多核CPU的CCD级负载感知和线程编排向量检索框架,通过感知CCD(Core Complex Die)层级负载并优化线程编排,突破多核CPU向量搜索的性能天花板。
腾讯混元联合多所高校开源了OpenSearch-VL多模态训练方案,旨在通过强化学习解决前沿多模态搜索智能体的高质量训练数据瓶颈。该方案提供了从数据构建、工具集成到训练算法的完整开源框架。其核心是构建了高质量数据管道,通过维基百科路径采样与模糊实体重写等技术,产出高质量数据集,抑制检索捷径,鼓励智能体进行多跳搜索与推理。工具环境集成了文本/图像搜索、OCR及多种图像处理功能。实验结果显示,其模型将基线平均得分从47.8显著提升至61.6。