Midscene.jsGUI Agent 驱动的 E2E 自动化测试从自然语言到真机操作的实操指南【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midsceneMidscene.js 是一个 GUI Agent能看屏幕并自己动手操作的 AI 程序驱动的 E2E 测试框架你用自然语言描述任务它截图分析后自己点击、输入并验证结果。它把传统 UI 自动化里选择器写得累、页面一改就碎的问题换成描述你看到什么、期待什么断言同样按用户视角检查界面。读完这篇你能配好模型、发出第一条指令并把真机和已登录的浏览器接进同一条工作流。从零到第一条指令配置模型设定 4 个环境变量指向一个支持屏幕元素定位的多模态模型服务。从 Chrome 应用商店安装 Midscene 插件浏览器右侧出现侧边栏。点侧边栏的设置图标把第 1 步的 4 个配置值粘贴进设置页并保存。打开任意网页在侧边栏输入点击登录按钮并执行。第 1 步的完整配置以豆包为例API Key 换成自己的export MIDSCENE_MODEL_BASE_URLhttps://ark.cn-beijing.volces.com/api/v3 export MIDSCENE_MODEL_API_KEYyour-api-key export MIDSCENE_MODEL_NAMEdoubao-seed-2-1-turbo-260628 export MIDSCENE_MODEL_FAMILYdoubao-seed执行后你会看到 AI 逐步分析截图、高亮定位框并完成点击结束后自动生成一份 HTML 报告。Playground 和 SDK 共享同一套代码实现侧边栏里跑通的指令换成脚本行为完全一致。能力展开连 Android 真机让 AI 看见手机屏幕想让 AI 操作 App 而不只是网页先得让 adbAndroid 调试桥命令行连接工具连上手机。开发者选项里打开 USB 调试并插线adb devices -l出现序列号即成功。接着跑一条命令npx --yes midscene/android-playground启动 Playground免写代码的试用窗口在窗口里贴入 API Key 配置再输入打开浏览器搜索 SU7。跑完打开报告文件手机上的每次点击、滚动和断言都有截图留痕同样的指令交给midscene/androidSDK就能直接写进正式测试脚本。复用本地浏览器桥接模式接管你登录的 Chrome真机通了之后下一个常见卡点是登录态——很多流程每次都要重新扫码。桥接模式让本地脚本直接控制桌面 Chrome复用你已有的 cookies 和插件状态。项目里安装midscene/web和tsx脚本里new AgentOverChromeBridge()后调用connectNewTabWithUrl(url)扩展弹出确认窗点 Allow脚本就会新开标签页替你执行你还能在旁边手动补操作属于自动化里典型的人在回路协作方式。YAML 脚本则只需在web节点加一行bridgeMode: newTabWithUrl达到同样效果。授权窗口点一次 Allow登录态就归脚本所有。读执行报告把失败定位从十分钟缩到一分钟AI 自动化最大的焦虑是挂了不知道哪一步挂的。Midscene 把每次运行的报告、日志、缓存分目录放在midscene_run下点开 HTML 文件能逐步回放 AI 的决策、元素定位框和每步耗时模型慢还是页面慢数字直接给答案。想集中管理产物设MIDSCENE_RUN_DIR环境变量即可整体迁移报告生成的核心逻辑在报告模块想深入机制从这里入手。翻车急救adb devices只显示 unauthorized设备还没授权。手机上点一次允许 USB 调试弹窗序列号就出来了。报Cannot access a chrome-extension:// URL别的扩展向页面注入了内容产生冲突。开发者工具里复制冲突扩展的 ID到chrome://extensions禁用它再刷新页面。Ollama 本地模型报 403扩展的请求来源被本地服务拦了。设环境变量OLLAMA_ORIGINS*放开来源限制重启 Ollama。配了 cache 却没生成缓存文件cache 忘配id只读模式还不自动写盘。补上cache: { id: 任务名 }只读策略下记得手动调agent.flushCache()落盘。参数对照参数推荐值一句话说明MIDSCENE_MODEL_NAME支持 UI 定位的多模态模型所有场景必配定位质量看它MIDSCENE_MODEL_TIMEOUT180000模型响应慢时上调默认 180 秒MIDSCENE_MODEL_RETRY_COUNT1网络不稳时加到 2–3cache{ id: 任务名 }调试期读写模式重复跑不重复花钱cache.strategyread-only生产环境防缓存被改写MIDSCENE_RUN_DIR自定义路径报告、日志、缓存集中到一处bridgeModenewTabWithUrlYAML 脚本新开标签页接管本地 Chrome以上为通用推荐按环境微调。延伸入口各平台Android、iOS、HarmonyOS、桌面端的完整配置在平台指南缓存读写/只读/只写三种策略的取舍讲在缓存文档。模型支持范围与配置示例可对照支持的模型与配置。Web 想先跑通从 Chrome 扩展配好模型发一条aiAct开始目标是真机先把 adb 连好再跑一遍 Playground参数改对没改对报告里一眼就能看出来。【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考