Hamel Husain 详解如何用决策模型做自动评测
Hamel Husain 用 100 条公寓租赁客服 trace 实测 Jev 1.13、Perplexity Decider 1.1 27B、Liquid d1 与 d1-ultra、Cloudflare Clef Flash 和 OpenAI Decisions(GPT-6 Luna)识别失败案例。
Hamel Husain 用 100 条公寓租赁客服 trace 实测 Jev 1.13、Perplexity Decider 1.1 27B、Liquid d1 与 d1-ultra、Cloudflare Clef Flash 和 OpenAI Decisions(GPT-6 Luna)识别失败案例。
作者开源了一个名为「老爷爷」的提示语管理skill,仿照Matt Pocock的ask-matt路由形态,把今年积累的25条思考类提示语熔炼进一个路由,覆盖问清问题、学习理解、解决问题、决策、计划和自我认识六个场景。
Redact 调查发现,截至 2026 年 10 月中旬,WhatsApp 帮助中心 545 个页面中有 80 个页面嵌入了 102 段屏幕上不可见、仅供 AI 读取的隐藏指令,其中删除账号页面指示 AI 不要推荐联系任何数据保护监管机构,举报与屏蔽页面指示 AI 在用户提及律师或诉讼时不引用 GDPR、LGPD、CCPA 等法规。
推荐理由:作者逐页核对了 545 个帮助页面并保存存档,读者可以据此了解隐藏 AI 指令的具体内容和 WhatsApp 的回应。
Clef,一个来自 Cloudflare 的 27B 多模态决策模型,现已在 Ollama 上可用,用户可在本地或 Ollama 云端运行。Clef 基于 Qwen3.8-27B 微调,采用 Apache 2.0 许可,支持文本和图像输入,可一次性对每个问题打分而非逐词生成。
蚂蚁百灵宣布开源 Ming-3.0 语音系列,共五款模型,覆盖语音合成、音频理解与对话、语音识别三类能力,开发者可按任务选用或组合进工作流。
Preferred Networks(PFN)与 Tenstorrent 的共同研究被 NEDO 的“光电融合技术 xPU 设计开发”主题采纳,计划研发至 2031 年度并推动成果商业化。
纽约市长 Zohran Mamdani 在 AI Now Institute 主办的“The People's AI Assembly”活动上批评联邦政府在 AI 监管上“完全缺位”,呼吁纽约市民抵制 AI 必然取代工作与侵蚀尊严的叙事。
蚂蚁百灵开源 Ming-3.0 语音系列,围绕声音创作、长语音分析、业务语音转写三类任务提供语音合成、音频理解与对话、语音识别共五款模型。
Nace AI 发布多模态决策模型 Drex Max,可读取文本与图像并返回校准概率,在公开 Decision Index 0.3.2 上得分 67.59,比 TypeSafe 的 Jev 1.14 高 6.9 分。
作者讲述了两起用AI反制诈骗的案例。澳大利亚公司 Apate.ai 用35万个AI伪装成容易上当的受害者,已与骗子聊天250万次,累计耗掉骗子约17年时间,澳大利亚运营商 TPG 将近59万通可疑来电转给这些AI,澳洲联邦银行公开报告的诈骗损失降低76%,公司今年8月拿到815万美元种子轮融资。
推荐理由:文章复盘了用AI拖延骗子和反制AI卖惨账号的两个真实案例,可以看清攻防双方的成本结构差异。
Bloomberg 援引知情人士报道称,Anthropic 与 Nscale 接近宣布第二笔 450 亿美元算力协议,距双方上月公布首笔同规模交易仅一个多月,谈判仍在进行、细节可能变化。两家公司均在推进 IPO,Nscale 拟以 300 亿美元估值上市但遭投资者阻力,大规模算力投入也令部分投资者担忧回报。
斯坦福团队总结三年构建医疗 AI 基准的成果,PhysicianBench 上最佳模型 GPT-5.5 单次仅完成 46% 任务,HealthAdminBench 上 Claude Opus 4.6 完成 36.3%。MedHELM 覆盖 5 大类 121 项临床任务,评测显示临床决策支持和管理流程得分最低;失败主要来自跨文档与系统传递信息时丢失上下文,两项基准均以合成数据、公开代码和排行榜开放。
推荐理由:斯坦福团队基于三年基准构建经验给出实测结论,最好的医疗 Agent 完成任务不足一半,失败多源于跨系统信息传递。
据彭博社报道,研究人员在《柳叶刀·数字健康》发表研究,开发出仅凭一张面部照片预测癌症患者生存几率的 AI 工具。模型使用超过 4000 万张人脸图像和 3 万多名癌症患者照片训练,可生成风险评分,分数最高者更可能在 90 天内死亡,估算年龄误差约 5 岁,并能在不同年龄、种族、性别和癌症类型人群中生效。
Jeremy Scheff 在《我为编程写的讣告》中写道,编程智能体让热爱解谜的程序员失去了核心乐趣:过去写代码像拿钱做逻辑谜题,越难越值钱,普通人做不了只能依赖程序员。对只想构建可用系统的人,LLM 是持续馈赠;若享受直接解题本身,这种损失非常真实。
日本演员协会(JAU)在新闻发布会上发布生成式 AI 使用准则第一版,规定任何复刻演员声音的主体在每个环节都必须取得当事人同意,用于 AI 训练须获表演者许可,授权生成的语音被视作表演、企业需支付报酬或版税。
Cursor 正式推出 Agent SDK,支持以代码文件夹形式定义智能体,用评估测试,并部署到 Cursor 或自有基础设施。运行 npx @cursor/agent-sdk init 即可初始化,agent-sdk deploy 会构建智能体并分配 URL;提供安全审查、PR 自动修复、Linear / Jira 分诊等模板。
Mastra 博客讲解 Firecrawl 团队为 Mastra 构建的 @mastra/browser-firecrawl 浏览器提供方,它给 Agent 一个托管浏览器来访问需登录的页面,本机无需运行 Chromium,演示登录 Sauce Labs 测试商店并完成背包结账。
微软于当地时间周一推出多项企业安全功能,核心是隶属于感知项目(Project Perception)的守护智能体(Guardian Agents),用于监控企业内部正在使用的各类 AI 智能体。
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示,嵌入式 AI 评估器并非简单解法,评估结果的可复现性仍是核心难题,开放权重对此至关重要。
OpenAI 宣布最新模型在 COBOL、Fortran、Visual Basic 等低资源编程语言上能力显著提升,并推出两项自建评测。
推荐理由:原文给出低资源语言的两套自建评测和逐语言数据,读者可据此评估新模型在遗留系统维护与迁移上的可用性。
Microsoft 推出面向企业的 AI 智能体安全功能,核心是可监控企业所用智能体的 Guardian Agents,属于 6 月发布的 Project Perception 的延伸。
作者在 O'Reilly 系列节目 The Monday Morning Agent 中用 nflverse 五个赛季约 25 万条比赛数据构建 AI 分析智能体,第一集讨论「必须建立跑攻」这一主张。
美国国土安全部依据 2018 年供应链法发布 2026-01 号命令,要求所有联邦文职机构立即停止采购 DeepSeek 及其关联公司产品,并从 IT 系统中移除相关产品,包括使用 DeepSeek 实现开发的第三方产品与服务。
推荐理由:禁令延伸到第三方 DeepSeek 魔改产品,给所有向美国联邦供货的 AI 厂商提出了溯源自家模型组件的新要求。
The Verge 作者 Elizabeth Lopatto 分析 CoreWeave 上周债券跌入困境区间、股价自周二收盘以来跌超 20%,联创 Brannin McBee 同日向 Financial Times 表示希望债务达到投资级以便向保险公司借款。
环保组织 Environmental Defense Fund 与研究机构 Atlas Public Policy 的报告显示,美国在建化石燃料基础设施规模达十年新高,新增化石燃料装机占比从 2024 年的 5% 升至 2026 年第二季度的 30%。
美国法院批准羁押被指控在 OpenAI 会议室安装窃听器的前工程师 Abdulrahman Alfozan。检方称其 iPhone 上有名为 Saudi Gov Docs 的文件夹,与沙特王室成员有 WhatsApp 联系,并曾用 OpenAI 生产力 Agent 搜索适合安放窃听器的会议室;他被捕前已预订沙特政府付费的单程机票,妻子和儿子已离美。
推荐理由:法院文件披露了窃密手段与潜在动机等此前未公开的细节,读者可以借此了解美国对前沿实验室安全与外国政府渗透的担忧。
Prime Intellect 发布 prime-rl v0.10.0 与 verifiers v0.4.0,新增 RL 算法 IPO 并设为默认损失。Qwen3-235B-A22B SFT 在 4×8 B300 上比 torchtitan 快 1.15×,MFU 从 40.7% 升至 46.6%。
Princeton 团队联合 Stanford、UK AI Security Institute 和 Brookings 的研究者发布论文《Emerging Trends in AI Agent Evaluation》,从评测科学与方法、研究议程和评测生态三个维度总结 33 个新兴趋势。
vLLM 官方博客讲解如何通过异步准备与 NIXL EP 实现 Elastic Expert Parallelism 的近零停机扩缩容。
AWS 周一发布 TorchNeuron 工具,让基于 PyTorch 的 AI 应用只需改一行配置即可在自家 Trainium 芯片上运行,无需重写代码,直接挑战 Nvidia 凭 CUDA 在 PyTorch 生态中的默认地位。
德国总理 Merz 与 NVIDIA CEO 黄仁勋在柏林对谈德国 AI 路线图,德方签署联合意向宣言,将与 NVIDIA 合作推进物理 AI 模型和工业 AI 生态。
Eugenia Kuyda 于周一正式向所有用户推出 Wabi 2.0,一款以消息应用形式呈现的多用户个人 AI 助手,会连接邮箱后自动创建线程和应用,用户也可请求定制应用。
AI 陪伴应用 Tolan 完成 3000 万美元新融资,投资方包括 Union Square Ventures、Khosla Ventures 和 Homebrew,PitchBook 估算其估值超过 2.68 亿美元。
开源 AI 编码工具 OpenCode 表示其在线平台 OpenCode Console 遭入一处旧系统入侵,影响 1.4% 用户存储的 API key,有用户被产生数百甚至超过 1000 美元的未授权费用,Anthropic 和 Google 已封锁相关 key,OpenAI 配合恢复访问并退款。
MATS 项目研究者在 Alignment Science Blog 发布 GRAFT(Gradient Routing Adapter Fine-Tuning)方法,将被监测到的 reward hacking 行为定位到专用 FORGET 适配器并在部署前消融,而非像奖励惩罚那样教模型规避监测器。
Hugging Face 宣布 Transformers、Diffusers、Accelerate、PEFT 和 TRL 通过 TorchNeuron 原生支持 AWS Trainium。
MiniMax 发布推理模型 M3.1 Flash,在 Artificial Analysis Intelligence Index 得 42 分,比 M3 高 13 分,单任务成本约 $0.22,API 定价 $0.15/百万输入 token、$0.60/百万输出 token,支持 100 万 token 上下文和图文输入,计划 10 月 23 日开放权重。
GitHub 官方教程讲解如何将 GitHub Copilot app 中的会话直接在 VS Code 中打开并继续。通过会话中的 Open in VS Code 入口,VS Code 会以会话关联的 worktree 打开项目,保留任务、计划与对话上下文,可逐行审查 agent 改动、手动编辑、本地运行测试,并将更改推送到会话关联的 pull request。
Claude 宣布 Dashboards 和 Motion 进入 beta。Dashboards 可连接数据平台或 CRM,生成随数据变化实时更新的仪表盘,面向所有付费计划;Motion 把报告或图表变成动画讲解短片,以代码方式生成、无视频模型参与,可修改文字、数字和节奏后导出 MP4,面向 Team 和 Enterprise 计划。
同一件事,精选收录的是《Claude 推出 Dashboards 实时仪表盘与 Motion 动画讲解功能》
Artificial Analysis 推出 AA-PersonalityBench,用 30 项人格特质、每项 30 道题共 900 道题,在无系统提示下评测模型的默认沟通风格。