GUI 自动化AI 应用桌面应用AI 技能【免费下载链接】agent-desktopAgent Desktop gives any agent reliable computer use on the desktop. Built with Rust, it sees any apps real UI structure through OS accessibility trees and operates it — refs stay stable and actions stay safe to retry, instead of guessing from pixels.项目地址https://gitcode.com/gh_mirrors/ag/agent-desktop点击查看免费下载agent-desktop 是一款用 Rust 编写的开源桌面自动化工具它通过 macOS 原生可访问性树让 AI Agent 像人一样看到并操作任意桌面应用——不靠截图猜坐标而是拿到带稳定 ref 的结构化 UI 树。本文带你 5 分钟完成安装、macOS 授权并亲手运行第一条桌面快照命令。agent-desktop 是什么让 AI Agent 可靠操作桌面的开源工具传统方案让 AI 盯着截图猜按钮在哪agent-desktop 走的是另一条路直接读取操作系统的可访问性Accessibility树把按钮、输入框、菜单项变成带编号的 ref如s8f3k2p9:e1再对这些 ref 执行点击、输入等操作。几个对新手最实用的特性单二进制原生 CLIRust 编写release 产物不到 15MB无需运行时依赖默认无头交互ref 操作走可访问性语义通道默认不抢焦点、不动鼠标、不合成按键重试也是安全的结构化 JSON 输出每条命令都返回统一信封错误带机器可读错误码和恢复建议渐进式骨架遍历在 Slack 这类密集应用上最多可减少 98.8% 的读取量它的整体工作流如下一键安装 agent-desktop 的 3 种方式环境要求macOS 12Monterey及以上Intel 与 Apple Silicon 均可。方式一npm 全局安装推荐npm install -g agent-desktop安装器会通过 npm/scripts/postinstall.js 自动下载与你系统匹配的预编译二进制装完即用。验证一下agent-desktop version方式二npx 免安装直接运行不想全局安装直接跑npx agent-desktop snapshot --app Finder -i方式三从源码构建需要 Rust 1.89Intel 和 ARM 都支持git clone https://gitcode.com/gh_mirrors/ag/agent-desktop cd agent-desktop cargo build --release cp target/release/agent-desktop /usr/local/bin/构建入口在 src/main.rs核心逻辑在 crates/core/src/commands/snapshot.rs 等命令实现里。macOS 授权指南3 个权限一次配齐macOS 的安全模型要求显式授权agent-desktop 涉及 3 个权限辅助功能必需、屏幕录制截图需要、自动化打开通知中心需要。先检查当前状态agent-desktop permissions输出是明确的对象结构例如{ accessibility: { state: granted }, screen_recording: { state: denied, suggestion: Grant Screen Recording permission }, automation: { state: unknown } }发现denied时用隔离辅助进程触发系统授权弹窗普通检查绝不弹窗agent-desktop permissions --request也可以手动授权完整步骤见 skills/agent-desktop/references/macos.md打开系统设置 → 隐私与安全性 → 辅助功能添加启动 agent-desktop 的那个应用Terminal、iTerm2、Warp、VS Code 等打开开关重启终端让权限生效⚠️ 常见坑权限是授予启动它的终端而不是 agent-desktop 本身如果 macOS 里单独列出了 agent-desktop 二进制把它也加上。实战第一条 agent-desktop snapshot 桌面快照命令授权完成后发出你的第一条快照命令——让 Finder 展示真实 UI 结构agent-desktop snapshot --app Finder -i-i表示只保留可交互元素输出会干净很多。你会得到类似这样的 JSON节选{ version: 2.4, ok: true, command: snapshot, data: { app: Finder, snapshot_id: s8f3k2p9, ref_count: 14, tree: { role: window, children: [ { ref_id: s8f3k2p9:e1, role: button, name: Back }, { ref_id: s8f3k2p9:e2, role: textfield, name: Search } ] } } }读懂 3 个关键信息就够了snapshot_id本次快照的编号ref 都挂在它名下ref_id元素的门牌号嵌入了快照 ID后续命令直接引用不用重复传--snapshotrole/name元素的类型与名称静态文本标签、容器只作上下文、不分配 ref密集应用用骨架概览省 98% 读取量对 Slack、VS Code 这类元素爆炸的应用先拿 3 层浅层骨架再按需下钻agent-desktop snapshot --skeleton --app Slack -i --compact # 1. 浅层概览 agent-desktop snapshot --root e3 --snapshot s8f3k2p9 -i --compact # 2. 下钻感兴趣的区域 agent-desktop click e12 --snapshot s8f3k2p9 # 3. 对下钻到的元素行动整个观察 → 决策 → 行动 → 再观察的循环长这样从快照到行动高频命令速查表拿到 ref 后这些命令覆盖了绝大多数日常场景完整参考见 skills/agent-desktop/SKILL.md命令作用示例click点击元素无头语义点击agent-desktop click s8f3k2p9:e1type向输入框插入文本agent-desktop type s8f3k2p9:e5 hellopress按键/快捷键agent-desktop press cmdswait等待元素、文本或窗口出现agent-desktop wait --text Done --app Finderlaunch启动应用agent-desktop launch TextEditlist-windows列出可见窗口agent-desktop list-windowsscreenshot保存 PNG 截图需屏幕录制权限agent-desktop screenshot --app Finder 黄金法则ref 比坐标可靠。永远优先click ref而不是坐标点击UI 变化后重新 snapshot 拿到新 ref 再行动。新手常见问题快速排查现象错误码原因解决方案PERM_DENIED辅助功能权限未授予运行permissions --request系统设置中授权后重启终端APP_NOT_FOUND目标应用没在运行先agent-desktop launch App NameSTALE_REF快照后界面发生了变化重新snapshot用新 ref 重试树为空或很稀疏应用未暴露完整可访问性树去掉-i、加大--max-depth或用screenshot兜底更多问题与原理见官方 docs/faq.md 与 README.md 的安装与权限章节。下一步学什么完整命令参考59 个命令名skills/agent-desktop/SKILL.md17 种常见工作流模式表单、菜单、对话框、拖拽skills/agent-desktop/references/workflows.md观察类命令全参数说明skills/agent-desktop/references/commands-observation.md从一条snapshot命令开始你的 Agent 就已经拥有了眼睛。下一站用wait --element处理异步界面再用session start开启带轨迹记录的会话。赞分享GUI 自动化AI 应用桌面应用AI 技能【免费下载链接】agent-desktopAgent Desktop gives any agent reliable computer use on the desktop. Built with Rust, it sees any apps real UI structure through OS accessibility trees and operates it — refs stay stable and actions stay safe to retry, instead of guessing from pixels.项目地址https://gitcode.com/gh_mirrors/ag/agent-desktop点击查看免费下载相关推荐django CMS快速上手3条命令安装5分钟看到第一个页面新手完全教程django CMS快速上手3条命令安装5分钟看到第一个页面新手完全教程 django CMS 是一款基于 Django 的企业级开源内容管理系统CMCMS后端DLSS Swapper不换游戏官方更新也能给游戏换 DLSS 版本DLSS Swapper不换游戏官方更新也能给游戏换 DLSS 版本 想让老游戏用上新一代 DLSS或者刚升的版本不太稳、想退回去手动的做法是钻进游戏目桌面应用5分钟快速上手 Node-Redis从安装到第一个 Redis 命令5分钟快速上手 Node Redis从安装到第一个 Redis 命令 Redis是一个强大的内存数据结构存储系统而 Node Redis 是Node.js生后端数据库客户端缓存创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考