一句话让浏览器自己动手——Midscene 浏览器自动化零代码上手【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene浏览器自动化过去是写脚本的工程师的活普通人只能重复点点点。现在你只要打一句中文「填写账号密码并点击登录」页面就会自己完成流程。Midscene 就是这样一个靠截图看懂界面、听完你的描述就代为操作的 AI 浏览器自动化工具。 跑起来两分钟看到第一次执行结果先确认机器上装了 Node.js 20.19或 22.12和 pnpm 9.3这个仓库用 pnpm 管理依赖不建议用 npm。把代码拉到本地并装好依赖git clone https://gitcode.com/GitHub_Trending/mid/midscene cd midscene pnpm install后台把所有子包编译一遍首次会跑几分钟放着别动pnpm dev启动 Playground 并自动打开浏览器cd apps/playground pnpm dev页面打开后先在设置页填一个具备 UI 定位能力的多模态模型密钥再打开任意网页输入第一句话就能看到第一次执行结果。它能干什么Midscene 浏览器自动化能力全景一句中文指令让浏览器自动走完表单① 你想干嘛注册、登录这类要手动填的表单流程不想自己点了。② 你实际输入在登录页输入「填写用户名和密码输入框然后点击登录按钮」并运行。③ 结果长什么样页面自己填写、点击你能看到每一步的截图和它的决策过程。把页面上的商品和价格提取成 JSON① 你想干嘛把列表页的数据变成能直接用的结构化数据。② 你实际输入「获取页面中的商品{name: string, price: number}[]」。③ 结果长什么样直接返回一个 JSON 数组粘贴进表格或脚本就能用。让 AI 替你检查界面显示对不对① 你想干嘛确认结果「看起来对」而不是只确认按钮被点了。② 你实际输入「页面顶部显示导航栏右上角显示当前用户名」。③ 结果长什么样AI 对照截图判断通过或失败并给出理由。每次执行还会生成 HTML 报告截图、操作轨迹和断言结果都在里面出问题直接翻报告定位。Midscene 移动端自动化连上手机跑同一句指令① 你想干嘛同一句指令希望真机上也能跑。② 你实际输入手机 USB 连接并开启 USB 调试后在移动端 Playground 输入「打开购物应用点击列表第一件商品」。③ 结果长什么样手机画面实时镜像到电脑操作自动完成报告和 Web 端一样生成。 上手技巧与避坑先配模型再跑指令Midscene 依赖多模态模型做视觉定位Playground 设置页里没填可用的模型密钥第一条指令就不会有结果。Node 和 pnpm 版本别踩错仓库要求 Node 20.19或 22.12、pnpm 9.3用 npm 硬装这个 pnpm workspace 会缺依赖。本地模型 403 是我一开始的坑用 Ollama 跑本地模型报 403 时设置环境变量OLLAMA_ORIGINS*再重启浏览器。指令写具体一点我一开始输「帮我处理一下表单」卡住改成「点击页面右上角的登录按钮」就一次通过描述得像在跟一个人交代任务。扩展冲突导致页面报错如果提示无法访问chrome-extension://的 URL通常是别的扩展往页面注入了资源逐个禁用可疑扩展来定位。延伸与下一步Chrome 扩展的完整安装与模型配置流程可以看仓库内的 快速开始想把这些指令搬进测试脚本接着读 Playwright 集成指南。现在就打开你天天用的那个页面把第一条自然语言指令在 Playground 里跑一遍。【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考