STORY · 事件进行中

Dwarkesh Patel 发布预训练进步分解研究

1 个精选信源 · 1 篇报道持续 1最新动态 1小时前
最新进展

Dwarkesh Patel 研究:预训练进步主要来自数据改进

24 HOURS

本事件热度走势

当前热度 29峰值 309月9日 01:24近24小时变化

移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。

TIMELINE

报道时间线

1 条公开报道 · 官方一手 1 条 · 最新在前
  1. Dwarkesh Patel 研究:预训练进步主要来自数据改进
    Dwarkesh Patel:Podcast & Blog(RSS)官方一手精选

    Dwarkesh Patel 发布实验分析,在最高 1e19 FLOPs 的算力预算下训练 2019 至 2025 年各年度代表性模型配方与数据语料,发现数据改进带来 12.0x 算力效率提升,模型改进为 3.7x,数据贡献约为模型的 3.24 倍。