返回
原文
返回
精选AI 评分 58/100打开原文
导出 Markdown

inclusionAI/UI-Venus

蚂蚁 inclusionAI：GitHub 新仓库·2025-08-15 19:57·393天前·inclusionAI
AI 导读

UI-Venus 是一款本地 UI 智能体，仅以屏幕截图作为输入，即可执行精确的图形用户界面元素定位与高效导航。该代理无需依赖系统底层代码或辅助功能接口，直接通过视觉信息理解界面结构，实现自动化操作。其核心能力在于对任意应用或网页中的按钮、菜单、文本框等元素进行准确识别与交互，提升了跨平台任务执行的通用性与可靠性。

蚂蚁 inclusionAI：GitHub 新仓库
精选
58AI 编辑部评分，满分 100

inclusionAI/UI-Venus

2025-08-15 19:57· 393天前· inclusionAI
AI 导读

UI-Venus 是一款本地 UI 智能体，仅以屏幕截图作为输入，即可执行精确的图形用户界面元素定位与高效导航。该代理无需依赖系统底层代码或辅助功能接口，直接通过视觉信息理解界面结构，实现自动化操作。其核心能力在于对任意应用或网页中的按钮、菜单、文本框等元素进行准确识别与交互，提升了跨平台任务执行的通用性与可靠性。

推荐理由

蚂蚁这个纯截图驱动的 UI Agent 在当时算是早期探索，代码开源可直接用，做 GUI 自动化的值得看看底层怎么实现元素定位和导航。

正文 · AI 翻译

License Report Website: UI-Venus-2 GitHub Hugging Face Model

一个通用基础 GUI 智能体，面向移动应用、Web 平台和桌面操作系统——在同一个闭环的感知–推理–行动智能体中，协同扩展环境、任务与反馈。

🌟 UI-Venus-2 有哪些新变化

与 UI-Venus-1.5 相比，我们引入了：

  • 📱 扩展的多语言移动环境：大幅扩充的可执行移动应用池，覆盖中英文应用生态，并配合深度研究驱动的查询生成策略，将任务查询建立在真实应用功能之上——提升所生成指令的准确性、有效性和可执行性。
  • 🖥️ 从零构建的计算机使用能力：通过计算机使用数据采集和任务专项训练，从零打造专用的桌面操作系统能力，将 UI-Venus 系列扩展至在同一个统一的端到端智能体中实现移动、Web 和操作系统交互。
  • 🎯 基于关键点的验证：任务完成情况依据与任务相关的视觉关键点来判定，而非对最终屏幕进行粗略的整体观察，并通过多模型投票聚合异构评判者——减少单一评判者的偏差，使奖励信号对奖励攻击具有鲁棒性。
  • 🔄 验证增强反思： 经过验证的反馈被作为反思监督蒸馏回训练中，使智能体能够区分部分进展与真正完成，避免因观察误读而导致的过早终止，并在长时程交互中恢复。

📈 UI-Venus-2 基准测试表现

UI-Venus-2 Benchmark Performance

UI-Venus-2 在 GUI 智能体基准测试上的表现。 每个面板将 UI-Venus-2-27B 和 UI-Venus-2-9B 与一些选定的强基线进行对比。我们倾向于选择在最接近的可用任务子集和步数预算上评估的独立端到端系统；来源报告的动作脚手架可能仍存在差异。MobileWorld 使用 117 个任务、50 步的纯 GUI 成功率，WebVoyager 使用刷新后的 595 任务划分，Odysseys 使用 200 个任务的平均评分标准得分，VenusBench-CAPTCHA 使用全部 219 个样本的 micro Pass@1，VenusBench-GD 使用英文指令的 micro 平均准确率。“*”表示由我们复现的结果。

📰 新闻

  • [2026/09] 我们发布了 VenusBench-CAPTCHA，这是一个用于在多样化 CAPTCHA 任务上评估 GUI 智能体的综合基准。请见分支 VenusBench-CAPTCHA。
  • [2026/08] 我们发布了 UI-Venus-2，这是一个 9B/27B 的通用基础 GUI 智能体，通过规模化多语言环境、关键点锚定验证和验证增强反思，统一了移动端、网页端和桌面端交互。
  • [2026/02] 我们发布 UI-Venus-1.5，这是一个端到端 GUI 智能体，专为稳健的真实世界应用而设计。
  • [2026/02] 我们发布 VenusBench-Mobile，这是一个面向移动端 GUI 智能体的高难度在线基准测试。请查看分支 VenusBench-Mobile。
  • [2025/12] 我们发布 VenusBench-GD，这是一个全面的多平台 GUI 定位基准测试。请查看分支 VenusBench-GD。
  • [2025/8] 我们发布 UI-Venus，这是我们 UI 智能体模型的第一个版本。

🧭 概览

✨ 演示

查看更多演示

UI-Venus-2 mobile demo

🛠 Venus 框架

我们提供两个用于在真实环境中运行智能体的框架：

框架 描述 文档
移动端框架 用于单任务执行、多设备批量执行、轨迹记录与反思的 Android/ADB 智能体框架。 English · 中文
浏览器插件 Chrome 侧边栏扩展，将 UI-Venus 连接到当前活动的浏览器标签页，并以交互方式执行浏览器任务。 English · 中文

有关目录结构和入口点，请参阅 Venus Framework 概览。除非各自的依赖要求另有说明，下面的轻量级领域示例无需任一框架即可使用。

🚀 快速开始

安装

conda create -n ui-venus-2 python=3.11 -y
conda activate ui-venus-2
pip install -r requirements.txt

需要 Python 3.10 或更高版本。以下所有命令均在仓库根目录下执行。通过 MODEL_URL、MODEL_NAME 以及 API_KEY 或 MODEL_API_KEY 配置 OpenAI 兼容的模型服务；相同的值也可以在每个领域脚本的顶部进行编辑。当两个密钥变量都设置时，API_KEY 优先。将 MODEL_NAME 设置为你的 UI-Venus-2 9B 或 27B 模型的服务名称。

移动端

对随附的预录屏幕截图序列运行多轮推理。N_IMG 控制保留多少张最近的历史屏幕截图：

MODEL_URL=http://127.0.0.1:8000/v1 \
MODEL_NAME=UI-Venus-2 \
N_IMG=2 \
bash scripts/mobile.sh

本示例仅执行模型推理，不在设备上执行操作。如需真机 ADB 自动化，请使用上文的 Mobile Framework。

移动端多轮示例及输入/输出格式

Computer

对预录的桌面屏幕截图序列运行多轮 Computer 推理：

MODEL_URL=http://127.0.0.1:8000/v1 \
MODEL_NAME=UI-Venus-2 \
N_IMG=2 \
bash scripts/computer.sh

默认命令使用随附的桌面屏幕截图示例。该独立示例会校验并规范化模型操作，但不会在主机上执行这些操作。它不依赖 OSWorld 运行。

Computer 多轮示例及操作格式

Browser

按照领域文档所述，以 CDP 端口启动 Chrome，然后运行一个自然语言浏览器任务：

MODEL_URL=http://127.0.0.1:8000/v1 \
MODEL_NAME=UI-Venus-2 \
bash scripts/browser.sh "Open https://example.com and report the page title"

Browser 用法与 CDP 设置

Grounding

对仓库随附的三个样本运行直接 grounding 评估：

MODEL_URL=http://127.0.0.1:8000/v1 \
MODEL_NAME=UI-Venus-2 \
bash scripts/grounding.sh

Grounding 评估、冒烟测试与基准配置

CAPTCHA

对随附的 CAPTCHA 图像运行推理，并将解析出的 JSON 和可视化结果保存到 results/captcha/：

MODEL_URL=http://127.0.0.1:8000/v1 \
MODEL_NAME=UI-Venus-2 \
bash scripts/captcha.sh

CAPTCHA 用法、提示词、动作格式与可视化

📊 基准测试结果

移动端

模型 MobileGym VenusBench‑Mobile AndroidWorld MobileWorld KnowUBench MemGUI
通用 VLM
Qwen3.5‑9B 9.0* 15.3* 57.8 18.0 (18.0)* 33.3 6.2*
Qwen3.6‑27B 24.6* 28.0* 70.3 36.8 (41.9)* - 25.7*
Claude‑Opus‑4.6 - 36.5* - 44.5 - -
Kimi‑K2.6 38.7* 31.2* - 55.6 - 39.1
Kimi‑K3 - - - 74.4 - -
Seed‑2.0‑Pro 52.0 20.1* - 63.2 51.6 65.6*
Seed‑2.1‑Pro - - - 73.2 - -
GPT‑5.6‑Sol - - - 70.1 - -
GUI 专用模型
UI‑Venus‑1.5‑8B 18.4* 16.1 73.7 22.2* 26.0 3.9*
UI‑Venus‑1.5‑30B‑A3B 21.5* 21.5 77.6 17.1 - 10.9*
GUI‑Owl‑1.5‑32B‑Instruct 20.3* - 69.8 43.9 - 10.9
MAI‑UI‑8B 21.5* 12.7 70.7 27.5 26.0 17.2*
Qwen‑UI‑Agent‑27B - - - 82.1 (85.5) - -
Ours
UI‑Venus‑2‑9B 52.7 46.5 80.2 65.8 (75.2) 56.5 62.6
UI‑Venus‑2‑27B 60.5 48.7 84.0 76.1 (82.9) 59.7 70.3

在多个移动端 GUI 基准上的性能对比。VenusBench-Mobile 报告的是其 149 项任务主任务池上的成功率。对于 MobileWorld，我们报告的是 50 步设置下 117 项任务的仅 GUI 成功率；括号中的数值（如有）使用 100 步。MemGUI 报告的是 Main Results Pass@1。* 表示由我们评估或复现的基线结果。

Computer

模型 OSWorld‑Verified DeskCraft
通用视觉语言模型
Claude‑Opus‑4.8 83.4 -
Qwen3.5‑9B 41.8 14.6*
Qwen3.6‑27B 62.0 28.7*
Kimi‑K2.6 73.1 41.4*
Seed‑2.0‑Pro 62.3 40.0*
Seed‑2.1‑Pro 78.8 -
GPT‑5.5 78.7 -
GUI 专用模型
GUI‑Owl‑1.5‑32B‑Instruct 56.5 -
Qwen‑UI‑Agent‑27B 79.5 -
我们的方法
UI‑Venus‑2‑9B 70.8 48.0
UI‑Venus‑2‑27B 80.5 55.5
模型 二值准确率 部分得分
通用视觉语言模型
GPT‑5.5 13.0 46.7
Claude‑Opus‑4.7 4.6 20.3
Claude‑Sonnet‑4.6 (max) 4.6 20.0
Claude‑Sonnet‑4.6 (medium) 4.6 14.2
MiniMax‑M3 1.9 8.2
Kimi‑K2.6 1.9 7.1
Qwen3.5‑9B 0.0* 2.5*
Qwen3.6‑27B 0.0* 3.8*
Seed‑2.0‑Pro 0.0* 6.3*
Ours
UI‑Venus‑2‑9B 0.0 7.5
UI‑Venus‑2‑27B 2.8 13.2

在计算机使用智能体基准测试上的性能对比：OSWorld-Verified 和 DeskCraft（左图），以及 OSWorld 2.0（右图），均在官方 150 步预算、108 个任务的设定下进行。所报告的 OSWorld-Verified 基线在其引用来源中使用的是 361 个任务的设定，且可能采用针对特定模型的动作脚手架。对于 DeskCraft，我们报告的是作者在 Standard 和 Interactive 两个划分的 538 个任务并集上评估的汇总结果，这与该基准官方的按划分报告方式不同。OSWorld 2.0 结果报告的是官方的 Binary Accuracy 和 Partial Score 指标；基线取自官方排行榜，可能采用了针对特定模型的工具设置，对于有多个官方条目的模型，其推理强度设置在括号中标注。* 表示由我们评估的基线结果。

浏览器

模型 WebVoyager Online‑Mind2Web REAL Odysseys
平均 Perfect
通用 VLM
Qwen3.5‑9B 46.9* 27.3* 18.2* 42.6* 13.5*
Qwen3.5‑4B - - - 42.9 10.7
Qwen3.6‑27B 84.3* 55.3* 27.3* 39.5* 18.5*
OpenAI Operator 87.0 61.3 - - -
GPT‑5 (SoM) 90.6 - - - -
GPT‑5.4 - - - 55.4 33.5
Seed2.0 Pro 85.1* 68.5* 74.4* 60.2* 30.1*
GLM‑5V‑Turbo 88.5 - - - -
Claude Opus 4.6 88.0 - - 68.9 44.5
Claude‑Sonnet‑4.6 - - - 49.8 31.0
Kimi‑K2.6 76.8* - 74.4* - -
GUI 专用模型
UI‑TARS‑1.5 84.8 75.8 - - -
UI‑Venus‑1.5‑30B‑A3B 76.0 - 38.0* - -
GUI‑Owl‑1.5‑32B‑Thinking 82.1 - 44.6* - -
MolmoWeb‑8B 78.2 35.3 - - -
Fara1.5‑4B 80.8 - - - -
Fara1.5‑9B 86.6 63.4 - - -
Fara1.5‑27B 89.3 72.3 - - -
Ours
UI‑Venus‑2‑9B 90.8 74.0 76.9 77.3 62.0
UI‑Venus‑2‑27B 93.4 78.3 80.2 80.4 66.3

在四个实时网页基准上的性能对比：WebVoyager、Online-Mind2Web、REAL 和 Odysseys。Fara1.5 和 GPT-5 (SoM) 的 WebVoyager 条目采用更新后的 595 任务、100 步稳健协议，并取三次运行的平均值；实时站点状态可能因评估日期而异。对于 Odysseys，我们同时报告平均评分（Avg.）和满分评分（Perfect）。* 表示我们复现的结果。

Grounding

模型 VenusBench‑GD ScreenSpot‑Pro OSWorld‑G‑R UI‑Vision
通用 VLM
Qwen 3.7 Plus 75.2* 68.9 78.2 68.0
Seed 2.1 Pro 73.9* 65.3 78.0 62.0
Kimi‑K2.6 73.1* 52.0* 69.7* 51.7*
Qwen3.6‑27B 67.7* 65.2* 76.9* 58.3*
GUI 专用模型
UI‑Venus‑Ground‑72B 70.2 61.9 69.5 36.8
Holo2‑30B‑A3B 59.5* 66.1 76.1 40.9*
Step‑GUI‑4B 54.6* 60.0 66.9 30.0*
MAI‑UI‑8B 65.2* 65.8 68.6 40.7
MAI‑UI‑32B - 67.9 73.9 47.1
UI‑Venus‑1.5‑30B‑A3B 75.0 69.6 76.4 54.7
Qwen‑UI‑Agent‑27B - 76.6 78.5 70.0
Ours
UI‑Venus‑2‑9B 77.1 73.0 78.5 53.2
UI‑Venus‑2‑27B 80.1 74.1 79.1 66.9

在多个 Grounding 基准上的性能对比。VenusBench-GD 报告的是英文指令下的微平均 point-in-box 准确率。* 表示由我们评估或复现的基线。

CAPTCHA

模型 VenusBench‑CAPTCHA MCA‑Bench Spatial‑CAPTCHA‑Bench NextGen‑CAPTCHAs Open CaptchaWorld
通用 VLM
Qwen3.5‑9B 28.3 30.4 4.9 2.8 36.4
Qwen3.6‑27B 53.0 51.7 31.0 14.1 47.7
Seed‑2.0‑Pro 47.9 36.5 43.8 20.4 55.6
Kimi‑K2.6 39.7 38.7 24.8 7.2 47.8
Claude‑Opus‑4.6 16.0 25.9 9.5 2.8 23.3
Ours
UI‑Venus‑2‑9B 78.1 75.7 42.8 47.6 50.7
UI‑Venus‑2‑27B 79.9 79.6 48.6 54.5 56.3

各 CAPTCHA 基准上的性能对比。所有结果均为 Pass@1 百分比，越高越好。我们在 VenusBench-CAPTCHA 以及四个公开基准上进行评估：MCA-Bench、Spatial-CAPTCHA-Bench、NextGen-CAPTCHAs 和 Open CaptchaWorld。我们使用了 1,000 个抽样的 MCA-Bench 样本、15 种 NextGen-CAPTCHAs 任务类型以及 16 种 Open CaptchaWorld 任务类型。

📬 联系方式

如有任何问题或合作意向，请联系维护者。

📚 引用

# UI-Venus-2
@misc{venusteam2026uivenus2technicalreport,
      title={UI-Venus-2 Technical Report}, 
      author={Venus Team and Zhuohan Cai and Haoxing Chen and Jiaxuan Chen and Weizhi Chen and Changlong Gao and Zhangxuan Gu and Yuan Guo and Yusong Hu and Jianrong Jiang and Jianguo Li and Runze Li and Jinzhen Lin and Zhenyu Ma and Changhua Meng and Han Peng and Xinyu Qiu and Shuheng Shen and Zhongyi Shui and Weiqiang Wang and Ming Wen and Zhuoer Xu and Hang Yan and Kaiwen Yang and Ruilin Yao and Nanjun Yu and Zhengwen Zeng and Lianrui Zhang and Yunzhu Zhang and Zhe Zhao and Beitong Zhou},
      year={2026},
      eprint={2609.00028},
      archivePrefix={arXiv},
      primaryClass={cs.AI},
      url={https://arxiv.org/abs/2609.00028},
}

# UI-Venus-1.5
@misc{venusteam2026uivenus15technicalreport,
      title={UI-Venus-1.5 Technical Report}, 
      author={Venus-Team and Changlong Gao and Zhangxuan Gu and Yulin Liu and Xinyu Qiu and Shuheng Shen and Yue Wen and Tianyu Xia and Zhenyu Xu and Zhengwen Zeng and Beitong Zhou and Xingran Zhou and Weizhi Chen and Sunhao Dai and Jingya Dou and Yichen Gong and Yuan Guo and Zhenlin Guo and Feng Li and Qian Li and Jinzhen Lin and Yuqi Zhou and Linchao Zhu and Liang Chen and Zhenyu Guo and Changhua Meng and Weiqiang Wang},
      year={2026},
      eprint={2602.09082},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2602.09082}, 
}

# UI-Venus
@misc{gu2025uivenustechnicalreportbuilding,
      title={UI-Venus Technical Report: Building High-performance UI Agents with RFT}, 
      author={Zhangxuan Gu and Zhengwen Zeng and Zhenyu Xu and others},
      year={2025},
      eprint={2508.10833},
      archivePrefix={arXiv},
      primaryClass={cs.CV},
      url={https://arxiv.org/abs/2508.10833}, 
}

⚖️ 许可证

本项目仅供研究与教育用途。

来源：蚂蚁 inclusionAI：GitHub 新仓库· github.com

智能体GitHub多模态开源/仓库
导出 Markdown