GUI 自动化AI 应用桌面应用AI 技能【免费下载链接】agent-desktopAgent Desktop gives any agent reliable computer use on the desktop. Built with Rust, it sees any apps real UI structure through OS accessibility trees and operates it — refs stay stable and actions stay safe to retry, instead of guessing from pixels.项目地址https://gitcode.com/gh_mirrors/ag/agent-desktop点击查看免费下载agent-desktop 是一款用 Rust 编写的桌面自动化工具它让 AI Agent 不再靠猜像素而是通过操作系统的辅助功能树Accessibility Tree精准地看见并操作任意应用界面。面对一棵可能包含数千个节点的树如何确认 Agent 到底看到了什么、高亮框画在了哪里本文带你用 agent-desktop 自带的两大可视化调试工具——Visual Debug 单文件调试页与本地 Inspector 交互面板几分钟内直观看到辅助功能树中每个元素的位置与引用ref。先搞懂Agent 看到的不是像素而是辅助功能树在讲调试工具之前先理解 agent-desktop 的工作方式Agent 发起snapshot命令agent-desktop 通过原生 API 读取应用的辅助功能树macOS 上即 AXUIElement返回结构化 JSON每个可交互节点带角色button、textfield…、状态和一个引用例如s8f3k2p9:e1Agent 用这个 ref 执行click、type等动作再重新快照验证结果。也就是说调试的核心问题就是这棵树和屏幕上的像素对得上吗这正是 Visual Debug 与 Inspector 要解决的。对于 Slack、VS Code 这类界面密集的应用还可以先用--skeleton模式拿一个只展开 3 层的地图需要时再--root钻取局部——一个 Slack 窗口的完整快照约 30,743 tokensskeleton 概览只需 383 tokens少读 98.8%Visual Debug 快速上手一条命令生成带元素高亮的调试页Visual Debug 是命令行内建的可视化调试能力给snapshot或click命令加上--debug --screenshot 路径.html两个参数agent-desktop 就会生成一个自包含的 HTML 文件——内嵌窗口截图、元素高亮框和 ref 标签双击就能在浏览器里打开# 对 TextEdit 做一次 skeleton 快照并生成可视化调试页 agent-desktop snapshot --app TextEdit --skeleton -i --debug --screenshot /tmp/textedit-visual.html # 对一次点击生成 Before / After 对比调试页 agent-desktop click s8f3k2p9:e5 --debug --screenshot /tmp/click-visual.html打开调试页后能看到什么颜色语义一目了然蓝色框 可操作 ref琥珀色虚线框 skeleton 钻取锚点灰色框 上下文结构节点红色框 点击目标按角色过滤勾选Tree itemsButtons等复选框即可只高亮对应角色多选叠加不选则全部显示单击元素可单独隔离它的框与 ref再点一次取消Show all elements一键重置⏱️点击调试有 Before / After 两个视图Before 图高亮严格解析出的目标After 图是命令执行后的新截图UI 可能已变化所以不再画目标框。它的实现非常值得看一眼参数校验在 options.rs两个参数缺一不可、必须是新.html文件截屏与对齐校验在 capture.rs——它会严格复核窗口在截图前后是否移动、截图比例是否与窗口一致宁可报错也不画错位的高亮框render.rs 再把截图、节点数据和脚本渲染进单个 HTML 文件离线打开即可。Visual Debug 的实用限制需要 macOS 的辅助功能 屏幕录制两项权限目前仅支持window表面的snapshot和基于 ref 的clickbatch等其他命令不支持输出文件只创建、不覆盖调试页是静态产物改了代码后重新生成即可截图与可访问性标签属于敏感信息请仅在本机或可信范围内查看。完整用法见官方技能文档commands-observation.md。Inspector 本地交互面板启动步骤Visual Debug 适合一次验证而Inspectortools/inspector/是给开发者日常使用的本地只读 Web 面板——无需安装任何 npm 依赖Node 22 即可运行git clone https://gitcode.com/gh_mirrors/ag/agent-desktop cd agent-desktop cargo build --release -p agent-desktop npm --prefix tools/inspector run dev启动后在浏览器打开给出的 localhost 地址注意用完整链接能力令牌藏在 URL 片段里选择应用并点击Inspect app即可进入三栏工作台左侧 Elements 树箭头展开分支时通过 CLI 按需加载子节点选中某一行会在预览图中隔离高亮️中间窗口预览截图上叠加 SVG 高亮层选中元素只看不点永远不会真的点击你的应用右侧检查面板支持限定范围查找只在选择范围内的树子树中按文本/角色搜索、属性与状态实时读取get/is并有命令历史与进度提示。服务本身做了不少稳健性设计端口被占时自动重试、每实例使用独立的临时快照状态、正常退出自动清理私有临时文件。若没有屏幕录制权限它会降级为纯辅助功能树并给出提示——高亮样式与 Visual Debug 保存的 HTML 完全一致。源码入口在 server.mjsCLI 桥接在 cli.mjs页面结构见 index.html更多说明见 inspector/README.md。Visual Debug 与 Inspector 如何选择场景推荐工具理由快速验证一次快照/点击、把调试页发给同事Visual Debug一条命令、单文件、离线可看日常开发、逐层探索树结构、限定范围查找Inspector交互更强可按需加载、随时读属性记录 Agent 会话的完整时间线trace show/trace export面向回放而非单帧调试写在最后辅助功能树是 Agent 与桌面世界之间的契约而可视化调试让这份契约第一次变得肉眼可见高亮框对齐没有、ref 落在哪个控件、skeleton 截断在哪里打开页面 3 秒就有答案。对 agent-desktop 的开发者来说Visual Debug 与 Inspector 是排查元素识别问题最顺手的两把X 光镜。 小提示调试页内嵌了真实截图与界面标签属于敏感产物注意不要提交到仓库或公开发布。赞分享GUI 自动化AI 应用桌面应用AI 技能【免费下载链接】agent-desktopAgent Desktop gives any agent reliable computer use on the desktop. Built with Rust, it sees any apps real UI structure through OS accessibility trees and operates it — refs stay stable and actions stay safe to retry, instead of guessing from pixels.项目地址https://gitcode.com/gh_mirrors/ag/agent-desktop点击查看免费下载相关推荐MCP Inspector可视化调试工具让服务器调试变得简单直观MCP Inspector可视化调试工具让服务器调试变得简单直观 MCP Inspector是一款专为MCP服务器设计的可视化调试工具通过直观的界面让复杂的开发工具MCP Clients调试器symfony/debug测试工具辅助验证ErrorHandler功能symfony/debug测试工具辅助验证ErrorHandler功能 在PHP开发中错误处理是保证应用稳定性的关键环节。symfony/debug组件提供开发工具如何快速提升调试效率vscode-debug-visualizer完整使用指南如何快速提升调试效率vscode debug visualizer完整使用指南 vscode debug visualizer是一款强大的VS Code扩展开发工具数据可视化创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考