UCSD 评测多智能体破案:推理者带队抗贿赂
先了解这件事
UCSD Hao AI Lab 公布多智能体侦探游戏评测:在维多利亚伦敦的 200 起案件中,比较 Jev 智能体集群单独行动、GPT6-Astra 单独行动,以及 GPT6-Astra 带领 12 个 Jev 智能体三种组合。 在 100 个较简单、少有证人撒谎的案例中,GPT6-Astra 带队解出 96 起,单独解出 57 起,Jev 集群单独解出 38 起;一个只统计线索的规则型领导者加 Jev 集群解出 97 起。 在 100 个被收买证人多于诚实证人的更难案例中,GPT6-Astra 带队解出 93 起,单独 59 起,Jev 集群单独 42 起,而规则型领导者加 Jev 集群仅 0–1 起。该实验室据此称,面对有组织的谎言需要能追问“是谁在说话”的推理型领导者,并主张让快速智能体跑腿、强推理者思考。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道,了解事件的不同侧面。
- UCSD Hao AI Lab快智能体跑腿,强推理者思考
5️⃣ 寓意:让快速智能体做跑腿的活,让强推理者来做思考。一个天才,多个头脑。🧠👣 回放全部 200 个案例: https://snyhlx.github.io/the_irregulars_detective_game/results.html 代码,以及更多关于智能体集群行为的博弈案例研究: https://github.com/lmgame-org/Gaming-JevSwarm 祝侦探愉快!
- UCSD Hao AI LabGPT6-Astra 与 Jev 集群抗贿赂证人测试
4️⃣ 但当证人被收买时…… 💰 在 100 个更难的案例中,被收买的证人数量超过了诚实证人。以下是各团队的表现: • 🏅 GPT6-Astra + Jev 集群:93 • 🥈 仅 GPT6-Astra:59 • 🥉 仅 Jev 集群:42 • ❓ 基于规则的领导者 + Jev 集群:0–1 结论:面对有组织的谎言,你需要一个会追问"是谁在说话"的推理型领导者。
- UCSD Hao AI LabGPT6-Astra 与 Jev 智能体解谜表现
2️⃣ 在 100 个较简单的案例中,很少有证人撒谎: • 🏅 GPT6-Astra 带领 12 个 Jev 智能体解出 96 个 • 🥈 GPT6-Astra 单独解出 57 个 • 🥉 Jev 集群单独解出 38 个 在较简单的案例中,每个谎言都来自单个证人,而每个真实事实都会出现两次。所以一个基于规则、只统计线索的领导者加上 Jev 集群就能找到真相,解出 97/100。 “ Elementary,我亲爱的 Watson。”
- UCSD Hao AI LabAI 侦探推理基准测试设置介绍
1️⃣ 设置:每个案件有 100 个地址、10 名嫌疑人和 12 小时来指认凶手、动机和藏身之处。侦探团队包括两个角色: 🕵️ Holmes 负责推理和决策:GPT6-Astra、Jev,或一种证据计数启发式方法 👦 The Irregulars 负责搜索:Jev 智能体,或一种搜索启发式方法
- UCSD Hao AI LabJev 集群与 GPT6-Astra 侦探破案对比
周五快乐!游戏开始了 🕵️🔍 一群快速决策智能体能抓住凶手吗? 我们把三位侦探送进维多利亚晚期的伦敦调查 200 起案件:(1) Jev 集群单独行动,(2) GPT6-Astra 单独行动,(3) GPT6-Astra 带领 Jev 集群。 结论:集群能覆盖线索,但需要一位推理型领导者来发现矛盾并深入挖掘。 更多内容见本线程 🧵 和博客 👇 https://snyhlx.github.io/the_irregulars_detective_game/blog.html
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。