HuggingFace Daily Papers·· 2 天前AI 评分39
AutoDataBench:面向数据智能的自动研究测试平台
AutoDataBench: A Data-centric Testbed for Accelerating Auto Research
AI 导读
AutoDataBench 是一个隔离数据因素、专门评估 LLM 数据智能的受控测试平台,覆盖数据诊断、组织与构建三类优化任务,并在工具使用、检索和知识注入场景下评测前沿模型迭代改进训练数据的能力。该平台还通过对比训练前预测与实际结果,检验 LLM 是否真正理解数据干预的效果,而非仅靠试错。复用 AutoDataBench 轨迹进行中期训练可提升下游编码性能。
来源:HuggingFace Daily Papers · arxiv.org