NVIDIA 与 AI4Bharat 开源 2.8 万亿 token 印度语语料

NVIDIA 联合 IIT Madras 的 AI4Bharat 发布 Nemotron-pretraining-Indic-v1，约 2.8 万亿 token，覆盖印度宪法列出的 22 种语言，并称将同时开放用于生成该数据集的 GPU 加速数据生成管线。 据发布信息，该数据集含 2601.0 亿原生文字 token 和 224.6 亿罗马化 token，token 数按 Gemma-4 tokenizer 计算。数据集与管线均标注为“即将发布”，尚未说明具体开放时间。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。