Midscene 自然语言浏览器自动化完整上手指南【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midsceneMidscene 是一个开源的 GUI 自动化框架你用一句自然语言它就看懂网页截图并动手点击、输入、抓数据网页、Android、iOS 都能操作。它能帮你解决什么问题网页测试不再被选择器绑死。以前 UI 一改你的click(#btn)就失效现在你只说点击登录按钮元素挪了位置它照样找得到。抓数据不用写爬虫。你说把商品列表的名称和价格抓出来它按结构返回省掉翻页、解析这些脏活。重复操作交出去。登录、填表、点下一步这类固定流程一句话跑完你去看别的事。把它跑起来前提一句话装好 Node.js 20 和 pnpm 9没有别的额外依赖。git clone https://gitcode.com/GitHub_Trending/mid/midscene cd midscene pnpm install pnpm run build cd apps/playground pnpm run dev启动后浏览器会自动打开 Playground左侧是当前页面的缩略图和指令输入框右侧是一个真实可操作的网页窗口你输入什么它就在右边做什么。要真正执行指令先按 快速开始 在设置里填好一个多模态模型的配置。完成第一个任务打开任意网页在右侧指令框选Action执行类型输入这条可直接复制的指令点 Run在搜索框输入 Midscene并点击搜索按钮它会先截屏理解页面、定位到搜索框、输入文字、再点击全程在右边实时回放。同一个框还有Query提取数据和Assert界面断言两种模式三种能力覆盖了大部分网页操作。核心能力拆解️ 执行操作一句话点完整个流程登录、下单、翻页都能用一句自然语言串起来背后是 核心执行引擎。同一套指令不挑端网页、Android、iOS、桌面应用都能驱动。 数据提取一句话抓走整页信息指定你要的结构比如名称价格它按数组返回直接拿去用不用手写解析逻辑。✅ 界面断言自动检查看起来对不对你写页面顶部显示导航栏它判断当前截图是否满足适合做验收和回归测试。上手技巧指令写成目标元素 动作。越具体越准点击登录按钮比点一下稳有参照物就带上如点击右上角的登录。失败了先改描述再重跑。别急着怀疑工具通常把元素说清楚一点加文字或位置就能定位到。开启缓存提速。重复跑的任务会越来越快模型配置和缓存说明见 模型配置。适合与不适合它擅长人眼能看见的界面操作网页、App、桌面 GUI而且对改版不敏感。它不擅长纯后端逻辑或非视觉任务又因为靠多模态模型理解页面复杂页面会有延迟和一定的模型调用成本重度批量场景要先算一下账。一句话Midscene 把看懂界面再动手这件最难的活交给 AI你只管说人话。更多场景和 API去 官方文档 里翻。【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考