The AI says the site is done. Then the homepage errors, the buttons overlap, and it added a login flow you never asked for. 🙃 Introduces WebCraftBench: agents actually use the live app, coverage-guided exploration finds what never got reached, then we score aesthetics, usability, and whether the original request was met. On 197 human-validated pairs, it matches human preference 85.3% of the time.
AI 导读
AI 说网站做好了。然后首页报错，按钮重叠，还加了一个你从没要求过的登录流程。🙃 介绍 WebCraftBench：智能体实际使用运行中的应用，覆盖率引导的探索发现从未被触达的部分，然后我们评估美观度、可用性，以及原始需求是否被满足。在 197 个人工验证的配对样本上，它与人类偏好的一致率达到 85.3%。 论文：https://arxiv.org/abs/2609.15387
Tencent Hy@TencentHunyuan39
AI 编辑部评分，满分 100AI 说网站做好了。然后首页报错，按钮重叠，还加了一个你从没要求过的登录流程。🙃 介绍 WebCraftBench：智能体实际使用运行中的应用，覆盖率引导的探索发现从未被触达的部分，然后我们评估美观度、可用性，以及原始需求是否被满足。在 197 个人工验证的配对样本上，它与人类偏好的一致率达到 85.3%。 论文：https://arxiv.org/abs/2609.15387
来源：Tencent Hy· x.com