OpenAI 与 Google 研究者合作推出 Activation Atlases 神经元交互可视化技术
OpenAI 与 Google 研究者合作创建了 activation atlases，一种可视化神经元之间交互所代表内容的新技术。随着 AI 系统被部署到越来越敏感的场景，更好地理解模型内部决策过程有助于识别弱点和调查失败原因。
#论文/研究
OpenAI：官网动态AI 评分5252
OpenAI：官网动态AI 评分3737 OpenAI 论文：AI 安全研究需要社会科学家参与
OpenAI 发表论文指出，长期 AI 安全研究需要社会科学家参与，才能确保 AI 对齐算法在真实人类参与的场景下有效。论文认为，将先进 AI 系统与人类价值观正确对齐，需要解决人类理性、情感与偏见心理学相关的诸多不确定性。OpenAI 计划招聘社会科学家全职从事这一方向的研究。
OpenAI：官网动态AI 评分4646 OpenAI 研究：AI 训练如何扩展——梯度噪声尺度可预测并行性
OpenAI 发现梯度噪声尺度这一简单统计指标能预测神经网络训练在多种任务上的可并行性。由于复杂任务的梯度噪声更大，未来更大的 batch size 可能变得有用，从而消除 AI 系统继续扩展的一项潜在限制。该结果表明神经网络训练并非神秘技艺，而是可以被严格化和系统化的。
OpenAI：官网动态AI 评分3737 OpenAI 用能量函数模型学习概念，五次演示即可掌握
OpenAI 开发了一种基于能量的模型，能快速学习识别和生成以 2D 点集表达的概念，如 near、above、between、closest 和 furthest，仅需五次演示即可学会。该模型还展现出跨域迁移能力：在 2D 粒子环境中学习的概念可用于解决 3D 物理机器人任务。
OpenAI：官网动态AI 评分3939 OpenAI 提出基于预测奖励的强化学习新方法 RND
OpenAI 开发了 Random Network Distillation（RND），一种基于预测的奖励方法，通过好奇心鼓励强化学习智能体探索环境，首次在《蒙特祖玛的复仇》上超越人类平均水平。
OpenAI：官网动态AI 评分5757 OpenAI 提出 iterated amplification 方法，用子任务分解指定复杂目标
OpenAI 提出 AI 安全技术 iterated amplification，通过演示如何将任务分解为更简单的子任务，而非提供标注数据或奖励函数，来指定超出人类规模的复杂行为与目标。该方法尚处早期，目前仅在简单的玩具算法域完成实验，OpenAI 认为它可能成为可扩展的 AI 安全方法。
OpenAI：官网动态AI 评分5151 OpenAI 发布可逆生成模型 Glow
OpenAI 推出 Glow，一种使用可逆 1x1 卷积的可逆生成模型，扩展了此前可逆生成模型的工作并简化了架构。模型可生成逼真的高分辨率图像，支持高效采样，并能发现可用于操纵数据属性的特征。OpenAI 同时发布了模型代码和在线可视化工具供探索和构建。
OpenAI：官网动态精选AI 评分6666 OpenAI 用单条人类演示训练智能体在 Montezuma's Revenge 上达到 74500 分
OpenAI 训练的智能体仅从单条人类演示出发，在 Montezuma's Revenge 上取得 74500 分的高分，超过此前已发表的最好结果。算法做法是从演示中精心挑选的状态开始连续游戏，使用 PPO 优化游戏得分进行学习，PPO 也是支撑 OpenAI Five 的同一强化学习算法。
推荐理由：原文说明从单条人类演示中选取起始状态再用 PPO 优化得分的算法思路，读者可以理解这一强化学习方法的可迁移做法。
OpenAI：官网动态AI 评分2424 OpenAI Retro Contest 首届结果公布
OpenAI 首届 Retro Contest 已完成，该竞赛旨在探索能从过往经验中泛化的算法。
OpenAI：官网动态精选AI 评分7676 OpenAI 分析：最大 AI 训练算力自 2012 年起每 3.4 个月翻倍
OpenAI 发布分析，显示自 2012 年以来最大 AI 训练所用算力以 3.4 个月翻倍的速度指数增长，远超摩尔定律 2 年的翻倍周期。该指标累计增长超过 300,000 倍，而 2 年翻倍同期只带来 7 倍增长。文中指出算力提升是 AI 进展的关键组成，若趋势延续，需为远超当今系统能力的影响做好准备。
推荐理由：OpenAI 用自己的分析给出 2012 年以来最大 AI 训练算力 3.4 个月翻倍、增长超 30 万倍的数据，读者可据此对照摩尔定律理解算力趋势。
OpenAI：官网动态AI 评分5151 OpenAI 提出通过辩论训练 AI 智能体的安全对齐方法
OpenAI 提出一项 AI 安全对齐技术：训练多个智能体就同一话题互相辩论，由人类判断哪一方获胜，以此实现对智能体的监督。该方法设想让人类借助辩论结果评估智能体行为，属于当时对齐研究的探索方向。
OpenAI：官网动态AI 评分4343 OpenAI 发布 Evolved Policy Gradients 元学习方法
OpenAI 发布实验性元学习方法 Evolved Policy Gradients（EPG），通过进化学习智能体的损失函数，使其能在新任务上快速训练。经 EPG 训练的智能体可在测试时完成训练范围之外的基础任务，例如学会导航到房间中与训练时位置相反一侧的物体。
OpenAI：官网动态AI 评分3333 OpenAI 启动 Retro Contest 迁移学习竞赛
OpenAI 推出 Retro Contest 迁移学习竞赛，用于衡量强化学习算法从既往经验中泛化的能力。
OpenAI：官网动态AI 评分4343 OpenAI 提出可扩展元学习算法 Reptile
OpenAI 开发出可扩展元学习算法 Reptile，通过反复采样任务、对其执行随机梯度下降，并将初始参数朝该任务学到的最终参数更新。Reptile 是 Shortest Descent 算法在元学习场景的应用，数学上与一阶 MAML 相似，只需对 SGD 或 Adam 等优化器进行黑盒访问，计算效率与性能相近。
OpenAI：官网动态精选AI 评分6969 OpenAI 联合多机构发布预测 AI 恶意用途的论文
OpenAI 联合 Future of Humanity Institute、Centre for the Study of Existential Risk。
推荐理由：OpenAI 与多家机构联合发布预测 AI 恶意用途的论文，为理解 AI 安全威胁和防范思路提供了系统性参考。
OpenAI：官网动态AI 评分2929 OpenAI 提出通过教学实现可解释机器学习的方法
OpenAI 设计了一种让 AI 互相教学的机器学习方法，所选取的示例同样能被人类理解。该方法自动挑选最具信息量的示例来教授某个概念，例如用最能描述"狗"这一概念的图像，实验显示其对 AI 教学有效。
OpenAI：官网动态AI 评分3030 OpenAI 用神经网络自动发现类型实现实体消歧
OpenAI 构建了一套实体消歧系统，通过神经网络判断一个词是否属于约 100 个自动发现的“类型”（非互斥类别），从而自动确定该词指代的是哪个对象。
OpenAI：官网动态AI 评分3838 OpenAI 发布 Requests for Research 2.0：七道未解研究难题
OpenAI 发布 Requests for Research 2.0，公开了七道在其研究过程中出现的未解难题。该批问题面向研究社区征集解法，具体题目与方向未在原文中展开。
OpenAI：官网动态AI 评分3737 OpenAI 提出分层强化学习算法，学习可复用的高层动作
OpenAI 开发出一种分层强化学习算法，能学习对解决多类任务有用的高层动作，从而快速求解需要数千个时间步的任务。在导航问题集上，该算法发现了朝不同方向行走和爬行的高层动作，使智能体能够快速掌握新的导航任务。
OpenAI：官网动态AI 评分4747 OpenAI 机器人技术：从仿真到现实环境的泛化
OpenAI 最新机器人技术让完全在仿真中训练的控制器部署到实体机器人后，能在完成简单任务时应对环境中的意外变化，即构建闭环系统而非此前的开环系统。
OpenAI：官网动态AI 评分5656 OpenAI 发现自博弈可让 AI 自发习得对抗与控球等物理技能
OpenAI 发现自博弈（self-play）能让模拟 AI 在无人为设计环境的情况下自发习得擒抱、闪避、假动作、踢球、接球和扑球等物理技能。自博弈让环境难度始终匹配 AI 的提升水平，结合此前 Dota 2 自博弈结果，作者认为自博弈将成为未来强大 AI 系统的核心组成部分。
OpenAI：官网动态AI 评分2828 OpenAI 研究：元学习让机器人摔跤手快速击败更强对手
OpenAI 展示元学习在模拟机器人摔跤任务中的应用：元学习智能体可快速击败更强的非元学习智能体，并能适应自身物理故障。
OpenAI：官网动态AI 评分4040 OpenAI 发布 LOLA 算法：让智能体学会建模对手心智
OpenAI 发布 Learning with Opponent-Learning Awareness（LOLA）算法，该算法考虑到其他智能体也在学习，能在迭代囚徒困境中发现针锋相对这类既自利又合作的策略。OpenAI 称这是迈向能够建模其他心智的智能体的一小步。
OpenAI：官网动态AI 评分4343 OpenAI 用参数噪声改进强化学习探索
OpenAI 发现，向强化学习算法的参数中加入自适应噪声，往往能提升性能。这种探索方法实现简单，且极少导致性能下降，因此值得在任何问题上尝试。
OpenAI：官网动态AI 评分5454 OpenAI 构建出多尺度多视角下稳定欺骗神经网络的对抗图像
OpenAI 创建了在多尺度、多视角下都能稳定欺骗神经网络分类器的图像。这一结果挑战了此前一种说法，即自动驾驶汽车因从多种尺度、角度和视角采集图像而难以被恶意欺骗。
OpenAI：官网动态精选AI 评分7070 OpenAI 与 DeepMind 合作研究从人类偏好中学习
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类判断两个候选行为中哪个更好来推断人类想要什么。该工作旨在免去人工编写目标函数，避免为复杂目标使用简单代理或目标偏差导致不良甚至危险行为，是构建安全 AI 系统的一步。
推荐理由：原文说明该算法通过比较两种行为的优劣来推断人类偏好，从而免去人工编写目标函数，可作为对齐研究的背景参考。
OpenAI：官网动态AI 评分3838 OpenAI 谈多智能体环境：通往 AGI 的竞争、协作与通信
OpenAI 发文指出，智能体争夺资源的多智能体环境是通往 AGI 的必经之路。这类环境具备两个特性：难度由竞争对手的水平自然决定，与自身克隆体对抗时难度恰好匹配自身能力；且不存在稳定均衡，智能体再聪明也始终面临变得更聪明的压力。OpenAI 表示这类环境与传统环境感受迥异，仍需大量研究才能驾驭。
OpenAI：官网动态AI 评分5454 OpenAI 发布完全在仿真中训练、看一次即可学会新任务的机器人系统
OpenAI 宣布创建了一个机器人系统，完全在仿真中训练并部署到实体机器人上，能够在看过任务演示一次后学会该任务。
OpenAI：官网动态AI 评分4646 OpenAI 无监督情感神经元：仅预测下一字符即可学到情感表征
OpenAI 开发了一个无监督系统，仅通过预测 Amazon 评论中的下一个字符进行训练，就学到了出色的情感表征。该系统被称为情感神经元（sentiment neuron），无需情感标注数据。
OpenAI：官网动态精选AI 评分6363 OpenAI 提出进化策略（ES）可作为强化学习的可扩展替代方案
OpenAI 发现进化策略（ES）这一已有数十年历史的优化技术在 Atari/MuJoCo 等现代 RL 基准上可与标准强化学习方法性能相当，同时克服了 RL 的许多不便之处。
推荐理由：原文指出进化策略在 Atari/MuJoCo 基准上可媲美标准 RL，并克服 RL 的诸多不便，读者可借此了解另一种可扩展的优化路线。
OpenAI：官网动态AI 评分3030 OpenAI 新研究：智能体如何学会自己沟通
OpenAI 公布一项新研究，让多个智能体在训练中自行发展出属于它们的语言。该研究聚焦智能体之间的沟通方式如何自发形成，而非由人类预先设定。
OpenAI：官网动态AI 评分5353 OpenAI 参与合著论文 Concrete Problems in AI Safety
OpenAI 与 Berkeley、Stanford 研究者共同作为合著者，参与由 Google Brain 研究者主导的论文 Concrete Problems in AI Safety。论文探讨了围绕确保现代机器学习系统按预期运行的多个研究问题。
OpenAI：官网动态AI 评分3030 OpenAI 介绍生成模型：四个项目与生成模型的发展方向
OpenAI 发布文章介绍四个围绕生成模型的项目，生成模型是机器学习中无监督学习技术的一个分支。文章同时解释了生成模型是什么、为何重要，以及未来可能的发展方向。