OpenAI 提议以困惑度作为行业共享指标并公开内部预训练测量数据
Perplexity and Intelligence
OpenAI 撰文提议将 perplexity(交叉熵损失)确立为跨模型开发者比较和安全标准的共享指标,并公开其内部预训练测量数据。
OpenAI 公开自 GPT-3.5 以来的内部 log-perplexity 数据,并提出以困惑度作为跨实验室共享的安全限速指标。

从远处看,现代 AI 的构建方式似乎和过去几十年的软件差不多:用各种技术去实现特定的能力。方法确实五花八门,但它们大多不是从零开始设计,而是利用一个更简单、也更难解释的过程所产生的智能:在超大规模的数据语料上训练一个压缩器(或者等价地说,一个预测器)。1
我认为,跟踪训练更好压缩器的进展速度,是理解 AI 发展脉络的关键。在这篇文章里,我主张把困惑度(或等价的交叉熵损失)确立为一项指标,用来比较不同模型开发者之间的水平,并为共享的安全标准提供依据。作为第一步,我公开更多 OpenAI 在预训练方面的进展。公布我们内部的困惑度数据是经过一番考虑的:这会让竞争对手更清楚地看到我们的位置,但相比在整个行业建立共享安全措施的紧迫性,这种顾虑是次要的。OpenAI 希望这能成为迈向共同科学基础的一步,为未来的节奏把控工作提供支撑。
对 AI 开发有一种简化但本质上很有启发性的看法:先造一台大型计算机,用它在一个大规模无结构数据集上预训练一个模型(压缩器),然后在不同场景中运用提示、微调或强化学习等各种技术,把模型潜在的能力激发出来。算法进步会模糊训练各阶段之间的界限,但我们仍然可以把两件事分开:一是创造出具有难以预测的涌现能力的 AI(我此前称之为“异类心智”),二是随后有针对性地激发它的能力。
多年来,我们衡量这一关键“智能基底”进展的主要方式一直相当稳定——我们一直在跟踪模型在留出数据集上的困惑度。2、3困惑度衡量的是模型平均而言预测下一个 token 的能力;困惑度越低,预测越准。本文开头那张图展示了从 GPT‑3.5 开始,我们的模型在这一指标上的变化。
这一个指标所大致描述的模型能力范围令人惊叹。GPT‑2 在更早的数据集上刷新了困惑度的最优成绩4,可以说它是第一个能够持续写出连贯段落的模型。下一次重大跃升是 GPT‑3,它具备了上下文学习能力,只要给出几个任务示例就能学会。GPT‑3.5 在我们当前主要评测数据集上的对数困惑度约为 0.99,能够进行流畅对话,也是初代 ChatGPT 的基础。GPT‑4 约为 0.91,擅长有效运用思维链推理,这也促成了后来对这一能力的有针对性激发,以及现代推理模型的诞生。如今,随着损失降到 0.8 以下,我们已经在网络安全和数学等领域看到了变革性能力的涌现。我想再次强调,事先完全无法确定 a priori 一旦达到这些精确的困惑度阈值,这些能力就会出现——它们从根本上可以看作是在这一个指标上取得进展所带来的涌现性潜在能力。
随着 AI 飞速发展,我们衡量下游能力的范围与方式可能很快就会变化。用大多数现代基准来评测 GPT‑2 和 GPT‑3 意义不大;而当年使用的基准在 GPT‑4 附近也基本饱和了。相比之下,我认为关注预训练进展很可能仍能提供有价值的信息。
进展速度的一个特殊变化,来自 AI 对自身发展的贡献越来越大。最常被讨论的指标,围绕 AI 在开发周期的各个阶段增强并取代人类研究员;最终的拐点被认为是“完全递归自我改进”,届时整个过程将完全自动化,不再需要人类监督。且不说出于维持人类控制的考虑,这种状态显然应当避免,我认为这种总体框架漏掉了关键的一点。开发过程中有一个关键环节可能带来潜在的阶跃式变化:预训练方面的算法研究。
我们最近在另一个领域见证了前所未有的加速。一年多来,我们一直把数学中的开放问题交给模型,作为评估它们的方式之一。当我们升级到对数困惑度约 0.76 的模型后,它开始产出突破性成果。对我们中许多曾在数学及相关领域工作过的人来说,看着我们长期思考的问题的解答在一个 Slack 帖子里接连从模型那里冒出来,感觉非常超现实。有了这样的经历,我们就可以外推——这种突然的转变在深度学习研究中同样可能发生。虽然这个领域更依赖实验,但历史上也有过简单的洞见被忽视多年的情况;因此最早到 2027 年,我们就有可能看到基础预训练进展出现类似的雪崩式突破5。虽然我预计 AI 也会对对齐与监控方面的进展做出重大贡献,但我认为这方面的进展不太可能快到足以让预训练释放出全部潜在加速。
新出现的惊人能力,主要来自压缩能力的进步,而困惑度正是衡量压缩的指标。因此,无论开发过程的自动化程度如何,困惑度都有望成为衡量通用智能的共享基准。从近期的进展外推,当我们进入约 0.68–0.7 的对数困惑度区间时,应当预期会出现进一步的变革性能力。我不知道这些能力会是什么,而且我们今天可能根本没有在测试它们。与此同时,我们也应当预期,目前占主导地位的对齐审计方式会进一步退化,模型对评估和训练的觉察也会进一步增强。我认为,前沿模型开发者应当共同努力,在模型首次投入使用之前,就如何评估这类模型、如何对其安全案例进行红队测试建立共同规范,包括共同的透明度标准。我还进一步提议,基于困惑度及其他测量指标设定共同上限,开发者承诺在我们理解和监控 AI 行为的能力达到某个具体里程碑(例如开发出思维链监控器的后继者)之前不越过这一上限。也就是说,我希望形成一项行业标准:用某个可在各实验室间追踪的关键指标,规定开发的第一道上限,并明确在越过它之前我们需要具体达成什么。我希望这能引出一个共同框架,用来设定后续一道道上限,并为后续开发定下节奏。
困惑度作为共享指标存在一些挑战:
跨实验室比较困难。不同开发者使用不同的评估数据集,训练数据配比也各不相同。这里我们报告的是我们一直在追踪的主要数据集上的数字;我相信,只要确立透明度的目标,我们就能找到可迁移的方法来比较不同基础模型的质量。
与可操作的评估脱节。困惑度并不直接对应我们关心的某项任务。关心它的理由在于,我们可以预期它上面的进步会催生出全新的能力。
未计入预训练之外的进展。最明显的是,思维链推理并不会降低模型达到的困惑度,尽管它带来了能力的急剧提升。
下限未知。我们不认为损失能降到 0,那意味着能完全确定性地预测数据集。但我们不知道数据本身的固有熵是多少。随着我们逼近它,困惑度上的表面进展会放缓,但困惑度上更小的提升将对应模型智能上更大的跃升。
与此同时,困惑度经受住了时间的考验:许多研究团队投入了大量精力优化它,它也持续在通用智能上带来稳定的提升。我相信它能在规范我们讨论 AI 进展的方式上发挥重要作用,也希望看到整个行业在这一点上更加透明。
来源:OpenAI:官网动态 · openai.com