跳到正文

公司与模型

OpenAI / ChatGPT 最新动态

OpenAI 的 GPT 系列模型、ChatGPT 与 Sora 产品更新,以及公司战略与人事变化。

923 条精选近 30 天 73 条共收录 6,220 条

更新

精选归档 · 第 46 页

2020年4月30日周四第 901–920 条
  1. OpenAI:官网动态66

    OpenAI 发布音乐生成模型 Jukebox 并开源权重与代码

    OpenAI 发布 Jukebox,一个可直接以原始音频形式生成音乐的神经网络,支持多种流派和艺术家风格,包括初步的歌声。OpenAI 同时开源模型权重和代码,并提供探索生成样本的工具。

    推荐理由:原文给出 Jukebox 以原始音频生成含人声音乐的核心能力,并说明开放模型权重与代码,读者可据此评估其可复用性。

2019年12月5日周四
  1. OpenAI:官网动态60

    OpenAI 发现深度学习中的深度双下降现象

    OpenAI 报告 double descent 现象普遍存在于 CNN、ResNet 和 transformers 中:随着模型规模、数据量或训练时间增大,性能先改善、再变差、然后再次改善。该效应常可通过仔细的正则化来规避,作者表示其成因尚未被充分理解,并将其列为重要的研究方向。

    推荐理由:原文指出模型规模、数据量或训练时间增大时性能先降后升的普遍现象,并把它列为值得进一步研究的方向。

2019年11月5日周二
  1. OpenAI:官网动态80

    OpenAI 发布 GPT-2 最大版本 1.5B 参数模型及代码与权重

    OpenAI 发布 GPT-2 分阶段发布的最终版本,即 1.5B 参数的最大版本,同时公开代码和模型权重以帮助检测 GPT-2 模型的输出。OpenAI 表示自 8 月以来已有更大的语言模型发布,但坚持按原计划完成分阶段发布,为社区提供一个完整的分阶段发布流程案例,并继续与 AI 社区探讨负责任发布。

    推荐理由:OpenAI 以完整分阶段发布作为案例放出 1.5B 版本,读者可借此了解负责任发布的实际过程。

2019年10月15日周二
  1. OpenAI:官网动态61

    OpenAI 用机器手训练神经网络还原魔方

    OpenAI 训练了一对神经网络,用类人机器手还原魔方。神经网络完全在仿真环境中训练,使用与 OpenAI Five 相同的强化学习代码,并配合一种名为 Automatic Domain Randomization(ADR)的新技术。系统能应对训练中从未见过的情况,例如被长颈鹿玩偶戳碰,说明强化学习不只能用于虚拟任务,也能解决需要极高灵巧度的现实世界问题。

    推荐理由:原文说明了 ADR 方法与全仿真训练思路,可帮助读者理解强化学习从虚拟任务走向真实机械手操作的技术路径。

2019年9月19日周四
  1. OpenAI:官网动态65

    OpenAI 用人类偏好微调 774M 参数 GPT-2

    OpenAI 用人类反馈微调 774M 参数 GPT-2,在多项任务上匹配了外部标注者的偏好。摘要任务用了 6 万条人工标注,风格续写等较简单任务只需 5 千条;标注者偏好摘要整句照抄原文,导致模型学会照抄。OpenAI 表示此举意在让安全技术更接近'机器与人对话'这一通用任务。

    推荐理由:原文给出人类偏好微调 GPT-2 的任务结果与标注成本,并暴露标注偏好与作者意图不一致的问题。

2019年9月17日周二
  1. OpenAI:官网动态62

    OpenAI 在多智能体躲猫猫游戏中观察到自发工具使用

    OpenAI 报告在新构建的模拟躲猫猫环境中,智能体通过多智能体对抗训练自发学会逐步复杂的工具使用。智能体形成了六种不同的策略与反策略,其中一些是团队事先不知道环境支持的。作者认为这种自监督涌现的复杂性表明,多智能体共同适应未来可能产生极复杂且智能的行为。

    推荐理由:原文记录了多智能体在躲猫猫环境中自发形成的六种策略与反策略,可帮助读者理解多智能体协同如何催生复杂行为。

2019年8月20日周二
  1. OpenAI:官网动态70

    OpenAI 发布 774M 参数版 GPT-2 并分享分阶段发布经验

    OpenAI 发布 774M 参数的 GPT-2 语言模型,此前已于 2 月发布 124M 小型版、5 月分阶段发布 355M 中型版,并与合作伙伴及 AI 社区研究了模型的滥用风险与社会效益。同时发布一份开源法律协议以便组织间建立模型共享合作,并发布关于与 AI 研究社区协调发布规范经验的技术报告。

    推荐理由:原文交代了 GPT-2 分阶段发布策略的推进节奏,并附带模型共享法律协议与发布规范报告,可了解负责任发布实践。

2019年7月22日周一
  1. OpenAI:官网动态85

    Microsoft 向 OpenAI 投资 10 亿美元并达成 AGI 合作

    Microsoft 向 OpenAI 投资 10 亿美元,支持其构建具有广泛分配经济收益的 AGI。双方将在 Microsoft Azure 内共同开发可扩展至 AGI 的软硬件平台和新的 Azure AI 超算技术,Microsoft 将成为 OpenAI 的独家云服务商。

    推荐理由:OpenAI 官方说明这笔 10 亿美元投资的具体用途和合作范围,可了解双方在 Azure 上共建 AGI 平台的安排。

2019年4月15日周一
  1. OpenAI:官网动态82

    OpenAI Five 击败 Dota 2 世界冠军战队 OG

    OpenAI Five 在周末的决赛中连赢两局击败 Dota 2 世界冠军战队 OG,成为首个战胜电竞世界冠军的 AI,也是 AI 首次在直播比赛中战胜电竞职业选手。此前 OpenAI Five 与 DeepMind 的 AlphaStar 都曾在私下对局中战胜优秀职业选手,但在公开职业比赛中落败。

    推荐理由:原文记录了 AI 首次在公开直播比赛中击败电竞世界冠军的节点,并交代了与此前私下对局结果的对比背景。

2018年11月8日周四
  1. OpenAI:官网动态68

    OpenAI 发布深度强化学习教育资源 Spinning Up in Deep RL

    OpenAI 发布 Spinning Up in Deep RL,一套旨在让任何人学会成为深度强化学习熟练从业者的教育材料。资源包含清晰的 RL 代码示例、教育性练习、文档和教程。

    推荐理由:OpenAI 自家发布的深度强化学习教育资源,代码示例、练习和教程齐全,适合想系统入门深度 RL 的开发者按图索骥。

2018年8月23日周四
  1. OpenAI:官网动态66

    OpenAI Five 在 The International 2018 惜败顶级 Dota 2 选手

    OpenAI Five 本周在温哥华 The International 2018 上与顶级 Dota 2 选手对战两场皆负,但两局前 20-35 分钟都保持较大获胜机会。

    推荐理由:OpenAI 官方复盘 OpenAI Five 在 The International 的两场失利,指出前期 20-35 分钟保持优势这一具体表现。

2018年8月6日周一
  1. OpenAI:官网动态74

    OpenAI Five 在表演赛中战胜 99.95 百分位 Dota 玩家队伍

    OpenAI Five 在三局两胜的比赛中战胜由 Blitz、Cap、Fogged、Merlini 和 MoonMeander 组成的队伍,其中四人曾打过职业 Dota。比赛面向现场观众并有 10 万人同时在线观看直播。

    推荐理由:原文记录了 OpenAI Five 击败高分段 Dota 战队的比赛结果,可作为 AI 在复杂即时对战场景进展的早期事件参考。

2018年7月4日周三
  1. OpenAI:官网动态66

    OpenAI 用单条人类演示训练智能体在 Montezuma's Revenge 上达到 74500 分

    OpenAI 训练的智能体仅从单条人类演示出发,在 Montezuma's Revenge 上取得 74500 分的高分,超过此前已发表的最好结果。算法做法是从演示中精心挑选的状态开始连续游戏,使用 PPO 优化游戏得分进行学习,PPO 也是支撑 OpenAI Five 的同一强化学习算法。

    推荐理由:原文说明从单条人类演示中选取起始状态再用 PPO 优化得分的算法思路,读者可以理解这一强化学习方法的可迁移做法。

2018年6月11日周一
  1. OpenAI:官网动态75

    OpenAI 发布基于无监督预训练的语言理解模型并取得 SOTA 结果

    OpenAI 用结合 Transformer 与无监督预训练的通用、任务无关系统,在多项语言任务上取得 SOTA 结果,并开源发布该系统。OpenAI 表示这一结果验证了监督学习与无监督预训练结合的有效性,希望推动在更大、更多样数据集上的后续研究。

    推荐理由:原文说明了方法组合与开放发布,读者可以据此理解无监督预训练思路在多项语言任务上的效果。

2018年5月16日周三
  1. OpenAI:官网动态76

    OpenAI 分析:最大 AI 训练算力自 2012 年起每 3.4 个月翻倍

    OpenAI 发布分析,显示自 2012 年以来最大 AI 训练所用算力以 3.4 个月翻倍的速度指数增长,远超摩尔定律 2 年的翻倍周期。该指标累计增长超过 300,000 倍,而 2 年翻倍同期只带来 7 倍增长。文中指出算力提升是 AI 进展的关键组成,若趋势延续,需为远超当今系统能力的影响做好准备。

    推荐理由:OpenAI 用自己的分析给出 2012 年以来最大 AI 训练算力 3.4 个月翻倍、增长超 30 万倍的数据,读者可据此对照摩尔定律理解算力趋势。

2018年2月20日周二
2017年8月16日周三
  1. OpenAI:官网动态71

    OpenAI 谈 Dota 2 成绩:自我博弈让系统从低于人类到超人水平

    OpenAI 表示其 Dota 2 结果显示,在足够算力下自我博弈(self-play)可让机器学习系统从远低于人类水平跃升到超人水平。该系统在一个月内从勉强匹敌高分段选手进步到击败顶级职业选手,此后仍在继续提升;自我博弈系统中的数据会随智能体变强而自动改善,不受监督深度学习训练数据集质量上限的约束。

    推荐理由:OpenAI 借 Dota 2 结果说明自我博弈为何能突破监督学习的数据上限,对理解强化学习路线有参考价值。

2017年8月11日周五
  1. OpenAI:官网动态71

    OpenAI 打造 Dota 2 bot 在 1v1 比赛中战胜世界顶尖职业选手

    OpenAI 打造出一个在标准赛事规则下、Dota 2 1v1 比赛中战胜世界顶尖职业选手的 bot。该 bot 通过自我对弈从零学会游戏,不使用模仿学习或树搜索,OpenAI 称这是迈向在涉及真实人类的复杂场景中达成明确目标的 AI 系统的一步。

    推荐理由:原文说明 bot 从零自学习、不用模仿学习和树搜索,读者可据此理解其在复杂真实环境中的方法论意义。

2017年7月20日周四
  1. OpenAI:官网动态73

    OpenAI 发布强化学习算法 Proximal Policy Optimization (PPO)

    OpenAI 发布一类新的强化学习算法 Proximal Policy Optimization(PPO),性能与当时最先进方法相当或更好,同时实现和调参更简单。因易用且表现良好,PPO 已成为 OpenAI 内部默认的强化学习算法。

    推荐理由:OpenAI 官方宣布 PPO 算法开源,并说明其成为内部默认强化学习算法的原因,可帮助读者了解该方法的定位。

2017年6月13日周二
  1. OpenAI:官网动态70

    OpenAI 与 DeepMind 合作研究从人类偏好中学习

    OpenAI 与 DeepMind 安全团队合作开发了一种算法,通过让人类判断两个候选行为中哪个更好来推断人类想要什么。该工作旨在免去人工编写目标函数,避免为复杂目标使用简单代理或目标偏差导致不良甚至危险行为,是构建安全 AI 系统的一步。

    推荐理由:原文说明该算法通过比较两种行为的优劣来推断人类偏好,从而免去人工编写目标函数,可作为对齐研究的背景参考。