Cua 快速上手让 AI 代理真正动手操作电脑的 4 个模块【免费下载链接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.项目地址: https://gitcode.com/GitHub_Trending/cua/cua你正让一个编码代理干活它写完代码、跑通测试但你要求它顺手打开桌面上的应用、切换几个页面、把结果截图确认一下——它卡住了因为大多数代理只会写文件不会看屏幕、点鼠标。CuaComputer-Use Agent计算机使用代理就是补上这最后一步的开源项目它给 AI 代理一台真实的电脑让代理能截屏观察、点击输入、再截屏验证形成一个完整闭环。项目速览Cua 到底帮你解决什么一句话定位Cua 是 MIT 许可的计算机使用代理开源套件覆盖给代理一台电脑、让代理操作桌面、评估和训练代理模型三件事。解决的问题AI 代理与真实 GUI 交互的最后一公里——没有 API 的老软件、需要登录态的界面、跨应用的工作流都靠看屏幕 点进去完成。适合谁自研 AI 代理的团队、做桌面应用测试的人、需要训练/评测视觉模型的研究者。和常见做法的区别浏览器自动化Selenium、Playwright只覆盖网页传统 RPA 靠写死的脚本和坐标Cua 让代理自己看截图、自己决定下一步界面变了也能继续。由 4 个独立包组成Cua Driver、Cua Sandbox、Cua Bench、Lume可以只装你需要的部分。它是怎么工作的一台两头都能进的临时电脑把 Cua 想象成你租了一台一次性办公电脑桌面前有个显示器给你看键盘鼠标让你动手抽屉里还能插一台终端跑脚本。关键点是——看和动共享同一台机器代理用脚本生成的文件GUI 里立刻能看到GUI 里下载的数据脚本马上能处理。代理的工作节奏是一个循环截屏或读系统暴露的可访问性信息→ 模型判断下一步 → 执行点击/输入/命令 → 再截屏确认。官方把这称为 Computer-Use 2.0代理在写代码、调工具、操作界面三种动作面之间自由切换点鼠标只是其中一种手段。这层设计的意义是模型只管思考Cua 负责把思考变成真实系统上的操作并保证环境可复现、可销毁。Cua 安装快速上手10 行代码跑起第一台电脑先装沙箱 SDK。它要求 Python 3.11 或更高版本一行命令即可pip install cua然后运行下面这个最小示例它会临时创建一台 Linux 电脑跑一条命令、截一张屏、点一次鼠标、敲几个字结束后自动销毁from cua import Sandbox, Image async with Sandbox.ephemeral(Image.linux()) as sb: await sb.shell.run(echo hello) shot await sb.screenshot() await sb.mouse.click(100, 200) await sb.keyboard.type(Hello from Cua!)逐句说一下Image.linux()不是正在运行的机器而是一份开机初始状态的不可变模板可以换成.windows()、.macos()、.android()Sandbox.ephemeral(...)表示用一次就删适合测试和 CIsb.shell、sb.screenshot()、sb.mouse、sb.keyboard就是前面说的代码头和GUI 头。想换 Windows 或 macOS 镜像只需改这一行里的 Image 参数。核心能力拆解4 个包按需选用Cua Driver在你真实电脑上后台操作桌面应用能干什么让代理在 macOS、Windows、Linux 上驱动原生桌面应用特点是后台操作——不抢你的光标和窗口焦点你继续打字它继续干活。怎么触发装好后暴露统一的 CLI 和 MCP 服务Claude Code、Cursor、Codex 等工具直接接上就能用。安装是一行官方脚本仓库里也保留了 安装脚本命令细节见 README。注意什么Linux 的 Wayland 后台输入有明确限制X11 支持最完整对高危操作应配置权限策略见 权限策略文档。Cua Sandbox一行 Python 造一台一次性电脑能干什么统一 API 创建 Linux 容器、macOS/Windows/Android 虚拟机云端或本地Docker、QEMU都行代码和 GUI 两种操作面共享同一个文件系统。怎么触发就是上面Sandbox.ephemeral(...)那种写法也支持按名字创建持久沙箱、快照snapshot和分叉fork。注意什么快照很值——装好依赖、下好模型后存成快照后续开 10 台同状态机器几乎不用重复安装这对批量并行任务尤其划算。Cua Bench给计算机使用模型打分和喂数据能干什么在 OSWorld、ScreenSpot、Windows Arena 等公开基准和自定义任务上跑代理输出可复现的结果并导出完整操作轨迹trajectory用于训练。怎么触发核心源码在 libs/cua-bench/内置数据集如 datasets/cua-bench-basic支持--max-parallel并行评估。注意什么首次使用要先建基础镜像再跑任务命令序列在 README 中有完整记录。LumeApple Silicon 上的 macOS 虚拟机能干什么基于 Apple 官方 Virtualization.Framework在 M 系列芯片上跑接近原生性能的 macOS 虚拟机一条命令从恢复镜像创建并自动配好用户、SSH、自动登录。怎么触发安装后用lume createlume run即可默认账号 lume/lume。注意什么Tahoe 流程官方已验证端到端可用Sequoia 首次显示启动可能停在辅助功能设置步骤属已知问题。场景实战桌面应用回归测试背景你改了桌面应用一个版本想验证设置页→改配置→保存→重启后配置仍在这条链路传统做法是人手点一遍或写一堆脆弱的 UI 脚本。操作用Sandbox.ephemeral(Image.linux())起一台干净电脑把应用装进镜像模板先跑一轮把环境调好存成快照之后每次回归测试从快照分叉出 N 台机器并行跑。代理在机器里打开应用、逐项操作每步截屏作为证据最后用脚本检查配置文件确认持久化。结果界面一有回归失败截图直接就是工单附件环境用完即删不留脏状态。如果你不想在本地跑同一套代码可以指向官方云端把 Linux、macOS、Windows 机器混在一起开这就是仓库里 Cloud Fleet 部分libs/fleet/在做的事。选型参考什么时候该用计算机使用代理三种做法不是互斥关系而是各管一段。简单对照方案最合适的任务明显短板API / 浏览器自动化有稳定接口、流程固定在网页内碰不到桌面应用和系统级界面传统 RPA流程完全固定、极少变化界面一改脚本就废Cua 计算机使用代理跨应用、依赖视觉状态、无 API 可用需要处理权限、验证和恢复逻辑结论任务被单一网页或单一 API 包住时别上代理直接用便宜工具任务横跨多个应用、或目标软件只给你一个界面时Cua 这类方案才有优势。边界与规划目前还会在哪些地方卡住平台一致性还有差距Linux 下 Wayland 的后台输入能力受各合成器限制X11 路径最稳Lume 的 macOS 侧 Sequoia 首次启动有已知小坑。镜像覆盖在扩张中云端对自带镜像.qcow2、.iso 的 BYOI 场景官方标注为即将支持目前本地 QEMU 反而支持得更全。方向上看官方在往跨操作系统机群走Cloud Fleet 支持混合开 Linux/macOS/Windows 机器Bench 的轨迹导出对齐模型训练需求Driver 在持续补 Linux 各桌面环境的验证。分读者建议下一步做什么如果你是应用开发者先用 Cua Sandbox 给测试流程加一台一次性电脑从Sandbox.ephemeral(Image.linux())开始一个下午能跑通第一条视觉回归用例。如果你在自研 AI 代理优先装 Cua Driver用它的 MCP 接口接你现有的编码代理注意先配好权限策略再放开操作面。如果你做模型评测或训练从 libs/cua-bench/ 的 cua-bench-basic 数据集起步重点看轨迹导出格式是否匹配你的训练管线。现在就可以打开终端执行pip install cua把上面 10 行示例跑一遍——看到那张截图返回时你的代理就第一次看见了电脑。【免费下载链接】cuaScale computer-use 2.0 with open-source drivers, cross-OS fleets, and benchmarks for training, evaluation, and data generation.项目地址: https://gitcode.com/GitHub_Trending/cua/cua创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考