OpenAI 训练出 15 亿参数的 GPT-2，在多项语言建模基准上达到 SOTA，并能零样本完成阅读理解、机器翻译、问答和摘要。出于对恶意应用的担忧，OpenAI 未发布完整训练模型，仅以负责任披露实验的形式放出一个小得多的模型供研究者使用，同时发布技术论文。GPT-2 基于 Transformer，用 40GB 互联网文本、800 万网页训练，参数和数据量均为 GPT 的 10 倍以上。