Luma· @LumaLabsAI · X·· 1 小时前AI 评分37
AI 导读
面向打包多模态掩码的精确序列并行。 它按层选择 ring attention、稀疏 all-to-all 或 Ulysses，数值与单 GPU 一致，并在最多 128 块 H100 上于 48 个案例中的 47 个优于 FlashMask + Ulysses 混合方案。 https://lumalabs.ai/news/packed-multimodal-attention
正文 · 原文
Exact sequence parallelism for packed multimodal masks.
It picks ring attention, a sparse all-to-all or Ulysses per layer, matches single-GPU numerics, and beats a FlashMask + Ulysses hybrid in 47 of 48 cases on up to 128 H100s.
来源：Luma · x.com