Cartesia 产品与研究·2026-10-27 08:00· 2 天前AI 评分51

Cartesia 发布 From Tokens to Bytes II：用两类 scaling law 解析字节级训练与分词的取舍

From Tokens to Bytes II: Learning from Raw Data

AI 导读

Cartesia 发布 From Tokens to Bytes 系列第二篇，通过 compute-to-loss 与 loss-to-loss 两类 scaling law 对比 Byte Transformer、BPE（含/不含 pretokenization）、BLT-like 和 H-Net 等方法。

来源：Cartesia 产品与研究 · cartesia.ai

数据与训练论文研究 #论文/研究 #数据/训练