热点事件 历史事件

蚂蚁百灵开源 Ling-3.0-tiny 基础模型检查点

3 篇报道3 个精选信源

先了解这件事

报道摘要

蚂蚁百灵开源 Ling-3.0-tiny-base 与 Ling-3.0-flash-base,并同步开放预训练、中期训练及 WSM 合并等共 6 个 checkpoints。tiny-base 总参数 7.9B、激活参数 1.3B,flash-base 总参数 124B、激活参数 5.1B,均采用统一训练方案,适合持续预训练、监督微调、偏好优化及强化学习后训练等场景。

摘自 公众号:蚂蚁百灵(Ling)

报道时间线

沿着报道,了解事件的不同侧面。

显示 3全部报道最新在前
  1. IT之家
    蚂蚁百灵开源 Ling-3.0-tiny / flash Base 模型,开放训练过程关键节点

    蚂蚁百灵正式开源 Ling-3.0-tiny-base 与 Ling-3.0-flash-base,除最终 Base checkpoint 外,还同步开放预训练和中期训练的权重 checkpoint,共计 6 个。

  2. 公众号:蚂蚁百灵(Ling)官方一手精选
    Ling-3.0 tiny & flash Base Models 正式开源

    蚂蚁百灵开源 Ling-3.0-tiny-base 与 Ling-3.0-flash-base,并同步开放预训练、中期训练及 WSM 合并等共 6 个 checkpoints。tiny-base 总参数 7.9B、激活参数 1.3B,flash-base 总参数 124B、激活参数 5.1B,均采用统一训练方案,适合持续预训练、监督微调、偏好优化及强化学习后训练等场景。

  3. X:蚂蚁百灵 (@AntLingAGI)官方一手
    蚂蚁百灵开源 Ling-3.0 六个基础模型检查点

    蚂蚁百灵开源 Ling-3.0-tiny 与 Ling-3.0-flash 的 6 个 Base Model 检查点,覆盖预训练、中期训练及 WSM 合并阶段,均未经过后训练。其用 WSM 替代 LR 衰减进行加权检查点合并,支持持续预训练与离线策略探索;社区可在 tiny-base 上验证策略后扩展至 flash-base。