该来源未收录可展示正文,站内仅提供摘要。
阅读原文(在新标签页打开)Show HN:Mini-AGI--在 8GB VRAM 上训练的持续学习模型
AI 导读
Mini-AGI 是一个字节级持续学习语言模型,可在单张 8GB VRAM 的消费级 GPU 上从零训练,权重以普通文件形式存于磁盘并按需换入显存,参数量因此受磁盘空间而非显存限制。模型在训练中按需扩展容量、剪除无用部分,读取与生成走同一条代码路径,无需独立微调流程,也不会灾难性遗忘。目前仍是小型玩具级模型,权重尚未发布,仍在进行语料首轮读取,预计还需数周。
Hacker News:AI 热帖
49
AI 编辑部评分,满分 100Show HN:Mini-AGI--在 8GB VRAM 上训练的持续学习模型
Mini-AGI 是一个字节级持续学习语言模型,可在单张 8GB VRAM 的消费级 GPU 上从零训练,权重以普通文件形式存于磁盘并按需换入显存,参数量因此受磁盘空间而非显存限制。模型在训练中按需扩展容量、剪除无用部分,读取与生成走同一条代码路径,无需独立微调流程,也不会灾难性遗忘。目前仍是小型玩具级模型,权重尚未发布,仍在进行语料首轮读取,预计还需数周。
来源:Hacker News:AI 热帖· github.com