HuggingFace Daily Papers·· 3 天前AI 评分38
AutoSciBench:面向科学智能体的自主基准生成框架
AutoSciBench: Autonomous Benchmark Generation for Evaluating Scientific Agents
AI 导读
AutoSciBench 是一个可自动生成并迭代调整科学智能体基准的框架,将任务拆解为高层概念与低层配方,并利用求解轨迹和评判反馈修订任务。在计算生物学、材料科学和临床影像三个领域,生成基准使求解器平均准确率较人工基准分别下降 22.4 和 25.5 个百分点,且三个领域的生成任务平均质量评分均更高。
来源:HuggingFace Daily Papers · arxiv.org