← 评测来源
FinanceBenchmark / 专业办公

FinanceBenchmark

完成金融定价、资本计算和风控任务,用数值与代码执行结果核验。

官方评测 ↗
在 AIHOT 中观察与参考
证据预算不计分
上游数据时间待核实
最近成功同步尚未开始采集

它测什么,怎么测

题集 v2、v3 与运行环境版本分开;保留每题三次尝试的条件。官网 Tasks passed 指至少一次成功,却同时称为 Pass@1,不能与单次平均正确率混用;Finance Index 也是另一个汇总指标。

如何使用这份证据

观察中:可补确定答案与代码验证的金融证据;指标口径仍需核对,官方 Sol 结果 JSON 下载本次返回 404,当前只收录来源,不自动采集或计分。

尚未纳入可比成绩

观察中:可补确定答案与代码验证的金融证据;指标口径仍需核对,官方 Sol 结果 JSON 下载本次返回 404,当前只收录来源,不自动采集或计分。

查看上游官方页面 ↗
评测局限与数据署名

三次至少一次成功不等于单次成功率;区间必须对应正确指标,滚动模型别名也需核验版本。题库和下载按钮公开不等于原始成绩已能获取。

数据许可:官方仓库代码为 MIT,网站要求保留 FinanceBenchmark 引用;未确认实时成绩完整导出的使用边界,不将代码许可替代榜单数据许可。

成绩由 FinanceBenchmark 发布,原始分数与 AIHOT 共识分使用不同尺度,不能直接相加。