阿里千问团队开源 BabelArena 基准，测试同一条 agent 工作流换语言后，工具调用、环境状态、检索与打分是否会走样，并发布论文 https://arxiv.org/abs/2609.23490。
阿里千问最新研究：Agent 也会「巴别塔」！
团队发布一个新的 BabelArena 来测试：同一条 agent 工作流换语言后，工具调用、环境状态、检索与打分会不会一起走样，通关仍可能掩盖 8 倍级的工具调用膨胀。
论文：https://arxiv.org/abs/2609.23490
千问帖子里的例子
同一购物任务、同一模型（Qwen-3.8-Max），英语与泰卢固语（Telugu）都拿到同样四个商品、都算通过；但工具调用是 25 vs 201，泰卢固一侧对本地化目录反复空搜。作者的判断：即便 pass，上线前也该看见这条差距。
BabelArena / BabelFlow 是什么
· BabelArena：大规模多语言 LLM agent 基准，约 699 个规范任务 × 23 种语言 → 约 1.6 万 任务实例（论文/README 数字在 699–702、16077–16146 间有小幅表述差，以当日仓库与 arXiv 为准）。覆盖 13 个领域、15 种文字；语言分高/中/低资源三档（泰卢固在低资源列）。
· 四套源基准家族：VitaBench（交互服务）、DeepPlanning（长程规划）、τ³-Bench text（模拟用户 + 工具 + 政策）、ClawEval（编排 / 多模态 / 专业对话）。
· BabelFlow：通用适配流水线，沿运行时数据流找出可安全翻译的文本，在任务、工具描述、数据库、模拟用户与 grader 上保持结构一致，多层校验 + 人工复核后再接纳变体。重点是 component-complete localization，不是只翻 prompt。
论文里更广的发现
没有单一模型通吃四个家族；跨语言差距不止成功率。低资源语言更多是 tool-use / control-flow 类失败，而不仅是「答案质量差」；同任务输入 token 可到英语约 2×；结构化输出时语言一致性更差，切换几乎一边倒指向英语。
Our latest open-source research has a pretty interesting name, inspired by the story of the Tower of Babel. What interests us about that story is how language barriers can get in the way of people working toward the same goal And when it comes to agents, there are a few more places for that understanding to break, like tool arguments, database entries, and search queries One example from BabelArena (yes that's the name, surprise) stuck with me: Qwen-3.8-Max completed the same shopping task in English and Telugu, getting the same four products. But it took 25 tool calls in English and 201 in Telugu, with repeated empty searches against the localized catalog. Even though both runs passed, we’d still want to see that difference before shipping. Sorry for the long story, hope you guys are still here. What I want to share is that we’ve open-sourced BabelArena to study these workflows across 23 languages. Code, datasets, and paper in the comment在 X 查看被引用的帖子
来源：meng shao · x.com