让 AI 替你写移动 UI 测试Maestro AI 断言与 MCP 评估实操指南【免费下载链接】MaestroPainless E2E Automation for Mobile and Web项目地址: https://gitcode.com/GitHub_Trending/ma/MaestroMaestro 是一个面向移动端与 Web 的 UI 自动化工具主张无痛 E2E 自动化。它的 maestro-ai/ 模块把大模型接入了测试流程你可以用一句自然语言描述断言也可以用截图让模型直接判断界面是否有缺陷。这篇文章基于仓库中的真实模块、命令和评估文件讲清楚 Maestro AI 测试现在能做什么、怎么跑起来以及哪些能力还在计划中。跑通第一个 AI 断言密钥和构建 ⚡AI 能力集中在 maestro-ai/ 模块它同时是库和可执行的演示应用支持 OpenAI 与 Anthropic 两家的模型。前置条件只有一条环境变量里的密钥。export MAESTRO_CLI_AI_KEYsk-... # OpenAI 前缀 export MAESTRO_CLI_AI_KEYsk-ant-api03-... # Anthropic 前缀然后构建一次产物是一个独立的命令行程序./gradlew :maestro-ai:installDist ./maestro-ai/build/install/maestro-ai-demo/bin/maestro-ai-demo --help演示程序可以直接对单张截图跑缺陷检测加--show-prompts还能看到发给模型的提示词和原始响应适合调试断言措辞。细节见 maestro-ai/README.md。三个能写进 YAML 流程的 AI 命令在MaestroCommand的命令表里maestro-orchestra-models/AI 相关命令有三个各自定位不同命令输入判断内容典型用法assertWithAI断言语句 当前界面界面是否满足自然语言描述assertion: A login screen is visibleassertNoDefectsWithAI当前截图界面是否存在视觉缺陷错位、破图、遮挡视觉回归的兜底检查extractTextWithAI当前界面从非结构化界面提取文本读取动态内容后再断言一个最小流程长这样- launchApp: {clearState: true} - assertWithAI: assertion: A login screen is visible optional: trueoptional: true值得注意断言失败不会中断流程只记录结果。这对 AI 判断这种天然带不确定性的检查是合理的取舍写 CI 时可以据此选择严格模式或观察模式。跨平台场景下同一套 YAML 可以依赖平台无关的语义定位。仓库里 e2e/workspaces/wikipedia/ 提供了一组对照示例android-flow.yaml与ios-flow.yaml各配平台专属子流程如onboarding-android.yaml/onboarding-ios.yaml主干步骤共享差异被隔离在 subflows 里。AI 写的测试怎么验收MCP 服务器与 LLM-Judge MCPModel Context Protocol本质是给大模型提供标准化工具接口的协议。Maestro 在 maestro-cli/src/main/java/maestro/cli/mcp/ 内置了一个 MCP 服务器把设备管理和流程执行暴露给模型共 8 个工具list_devices、take_screenshot、run、inspect_screen、cheat_sheet、list_cloud_devices、run_on_cloud、get_cloud_run_status。模型不需要记住 Maestro 语法细节cheat_sheet工具会按需返回语法参考。验收靠 maestro-cli/src/test/mcp/full-evals.yaml 这类评估文件给模型一个提示词校验它是否调用了正确的工具并用 LLM-Judge另一个大模型当裁判给回答打分。评估里用的裁判模型是claude-3-5-haiku-latest——轻量模型做裁判这本身就是成本控制的一部分。注意阈值并不统一full-evals.yaml的工具列举用例要求满分threshold: 1.0而 inspect-screen-evals.yaml 的界面理解用例阈值是 0.6还有一批 0.8 的用例处于注释状态说明评估基线仍在迭代中。稳定性与成本两个可调的旋钮AI 断言的脆弱点不在模型而在界面没加载完就截了图。仓库里可查到的应对手段动态等待extendedWaitUntil命令显式延长元素查找超时e2e/workspaces/simple_web_view/webview.yaml 中有实际用法智能重试官方 retry 示例内置 40ms 的状态稳定检测窗口区分真的失败和界面还在动模型分级简单断言走 Haiku 级别轻量模型复杂分析才用大参数模型缓存与增量分析重复场景复用历史分析结果只对界面变化区域重新推理直接压低 Token 消耗。提示assertWithAI的断言措辞会显著影响结果。断言写得越具体指明元素、位置、状态误判越少--show-prompts是定位措辞问题的第一手工具。边界哪些是现实哪些还在计划里 按仓库现状划一条线方向状态assertWithAI/assertNoDefectsWithAI/extractTextWithAI已可用命令定义在 MaestroCommand.ktMCP 服务器 评估体系已可用见maestro-cli/src/test/mcp/多模态测试语音交互验证计划中官方尚未提供测试脚本自修复UI 变化后自动更新定位计划中Maestro Studio 内置 AI 助手计划中多模态和自修复这两个方向一个解决测什么的扩展一个解决测多久的维护成本但当前仓库里还没有对应实现选型时不应把它们算进能力清单。从仓库出发最快的两条路用 e2e/demo_app/ 里的 Flutter 示例应用配一条assertWithAI流程验证效果或者读 maestro-cli/src/test/mcp/ 下的评估文件看模型调 Maestro 工具的标准是怎么定的。想深入了解贡献流程入口是 CONTRIBUTING.md。【免费下载链接】MaestroPainless E2E Automation for Mobile and Web项目地址: https://gitcode.com/GitHub_Trending/ma/Maestro创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考