LoRA 与 QLoRA 单卡微调大模型的原理与显存估算
热点事件持续更新
LoRA 与 QLoRA 单卡微调大模型的原理与显存估算
2 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
马东锡 NLP 发布后训练系列第三篇，讲解 LoRA 与 QLoRA 如何用一块 GPU 微调大模型。文章以“模式（列向量乘行向量）”串联 rank 秩、低秩近似和量化三个概念：LoRA 冻结原有权重，只训练新增的 r 个模式；4 位量化用 NF4 分块缩放压缩存储。 文中回顾华盛顿大学 QLoRA 在单块 48GB GPU 上微调 65B 模型的结果，并估算 7B 模型的显存开销：全参数微调约 100 GB、LoRA 约 15 GB、QLoRA 约 5 GB。这些数字是作者给出的估算，并非实测结论。
AI 根据报道生成 · 1 小时前更新
最新进展10月24日 17:01
马东锡 NLP 后训练系列第三篇：LoRA 与 QLoRA报道时间线
沿着报道，了解事件的不同侧面。
10月24日
- 马东锡 NLP马东锡 NLP 后训练系列第三篇：LoRA 与 QLoRA
马东锡 NLP 发布后训练文章系列第三篇，主题为 LoRA 和 QLoRA。文章围绕 rank 秩、low-rank approximation 低秩近似、quantization 量化三个基本概念展开，并用矩阵中的 pattern 模式这一概念将三者串联起来。
- 马东锡 NLPLoRA 与 QLoRA 如何用一块 GPU 微调大模型
作者以模式（列向量乘行向量）为核心概念，讲解低秩近似、LoRA 与 4 位量化的原理：LoRA 冻结原有权重只训练新增的 r 个模式，量化用 NF4 分块缩放压缩存储。文中回顾华盛顿大学 QLoRA 在单块 48GB GPU 上微调 65B 模型的结果，并估算 7B 模型全参数微调约 100 GB、LoRA 约 15 GB、QLoRA 约 5 GB 显存开销。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。