跳到正文
meng shao· @shao__meng · X·· 1 小时前AI 评分53
AI 导读

Kombai 发布 Design Creativity Bench,用 80 个开放式 UI 任务评估模型设计创造力,最佳模型 GPT-6 Astra 得 65.5,人类参考为 92.3。

正文

模型创造力排行 GPT-6 Astra 排第一、Claude Opus 5.5 第八 ?而且最强模型还是远低于人类 ?

@Kombaico 发布了 Design Creativity Bench:一个专门评估 AI 模型在 UI 设计任务上“创造力”的基准,可以看具体评测情况和数据,以及背后的论文和代码支撑:
https://kombai.com/benchmark/

测试基准怎么建立的 ?

任务设计:80 个开放式 UI 任务,每个任务适配两个不同产品领域(共 160 份设计简报),并配有人类设计师的参考作品作为基线。

评估对象:34 个模型(推文聚焦其中 16 个前沿模型)。

三个创造力维度(理论根基是“创造力 = 新颖性 + 适切性”):
· 原创性:不同模型面对同一提示时,产出之间差异有多大;
· 创意广度:同一 UI 目标换到另一个产品领域时,模型能否做出真正不同的设计决策;
· 适切性:设计满足简报验收标准的程度。

测试结果很意外!

创造力总分差距悬殊:最佳模型 GPT-6 Astra 得 65.5,人类设计师参考为 92.3,差距近 30 分。前几名为 GPT-6 Astra(65.5)、GPT-6.1 Sol(63.7)、Grok 4.7(62.2)、Gemini 3.8 Flash(60.6),Claude Opus 5.5 才 51 分!

模型“合格但不出彩”:
· 适切性上模型不输甚至略胜人类:所有前沿模型均超过 90%,最高 99.2%(人类为 98.0%)。模型是出色的“执行者”。
· 但原创性显著不足:模型与模型之间的设计相似度为 0.592,而人类与模型之间为 0.764;也就是说,模型们收敛到了同一种“平均审美”,彼此更像,与人类的差异反而更大。
· 创意广度差距最大:模型平均 0.581 vs 人类 0.902。同一个界面换个行业,人类设计师会重构设计语言,模型基本只是换皮。

一个精妙的反面验证:排行榜垫底的模型(如 Seed 1.6 Flash)原创性数值反而最高(0.810),但适切性只有 73.7%。这证明该基准没有被“乱出牌”骗过:单纯的怪异不等于创造力,新颖必须建立在对需求的准确理解之上。同时也解释了为什么强模型趋于保守: RLHF 式的训练天然会把输出拉向分布的众数,原创性成为代价。

引用Dipanjan Dey@Dipanjan_Dey
⚠️ Frontier AI models still fall significantly short of human designers on design creativity. ⚠️ Introducing Design Creativity Bench, a new benchmark evaluating AI models’ creativity on UI design tasks. Despite rapid advances in their ability to generate functional websites and product UIs, leading AI models still struggle to make creative design decisions. We evaluated 16 frontier models across 80 open-ended UI tasks, each adapted to two distinct product domains alongside human designer references. Existing UI benchmarks often measure a single output quality metric. Instead, we measure three dimensions of design creativity: - Originality: How distinct a model's designs are from other models' outputs for the same brief. - Creative Range: How much a model adapts its design decisions when the product domain changes. - Appropriateness: How well the generated UI satisfies the functional requirements of the brief. The results reveal a substantial gap in overall creativity: The best model, @OpenAI GPT-6 Astra, scores 65.5 against a human reference of 92.3. We're publishing the full leaderboard, methodology, and reproducible evaluation framework to make design creativity a measurable dimension of frontier model capability. 📊 Benchmark Leaderboard: https://kombai.com/benchmark/ 📄 Paper: https://arxiv.org/abs/2610.11539 🤗 HuggingFace Datasets: https://huggingface.co/datasets/Kombai/design-creativity-bench 🔗 Github: https://github.com/kombai-io/design-creativity-bench/
在 X 查看被引用的帖子

来源:meng shao · x.com