MidScene.js 完整指南AI 浏览器自动化用自然语言控制浏览器【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midsceneMidScene.js 是一款 AI 浏览器自动化工具它解决的核心问题是让你用一句自然语言驱动浏览器完成点击、填表、取数这些重复操作。你不需要会写脚本也不需要研究页面结构把任务描述成一句话交给它就行。三步跑起来开始前确认你电脑上有 Node.js 18 以上版本和 Git这是运行环境的全部前置要求。第 1 步把代码拉到本地git clone https://gitcode.com/GitHub_Trending/mid/midscene第 2 步安装依赖在项目目录里执行会自动装好 AI 模型接入、浏览器控制等组件npm install第 3 步启动服务npm run start启动后在浏览器打开本地服务地址Playground 面板就出现了输入框和实时画面都在这一个页面里。第一次自动化装好浏览器插件输一句话 除了 Playground还有一条零配置的路径Chrome 插件。打开浏览器的扩展管理页面开启开发者模式点加载已解压的扩展程序目录选到仓库里的 apps/chrome-extension/。装好后浏览器工具栏会出现 MidScene 图标点开侧边栏任何打开的网页都可以直接对它下指令。比如在这类页面上你只需要输两句话打开登录页填入账号密码登录后搜索人工智能提取页面商品列表的名称和价格导出为 CSV不写代码、不定位元素插件自己完成理解页面、找控件、执行操作的整个过程。加载过程与页面效果可以参考官方快速开始文档apps/site/docs/zh/quick-start.mdx。三个最常用的活免代码测试验证你输入类似登录后页面顶部应显示用户头像这样的断言MidScene.js 自己规划路径、执行点击、检查结果跑完给你一份带截图和每步决策的报告。测试用例不再是一堆选择器而是一句话。结构化数据采集输入提取列表中所有商品的名称、价格和链接它识别页面元素后直接返回结构化数据可以存成 CSV 或 JSON 交给下游使用。这是不写代码的网页数据采集的典型用法换个页面改一句话就行。跨平台操作同一套自然语言指令也能作用于 Android、iOS 和桌面端。你在网页上验证过的说法搬到手机上依然成立。它是怎么看懂页面的原理一句话能说清把当前页面截图喂给视觉大模型让模型看图找出按钮在哪、输入框是什么然后执行动作。它不依赖 DOM 结构所以页面改版、动态渲染也不会让它失明。支持的模型可以切换常见的有UI-TARS针对界面理解优化的视觉模型Qwen2.5-VL多模态大模型GeminiGoogle 的视觉语言模型也可以接入自己部署的模型配置里改一个模型家族选项即可。上手之后的效率玩法 任务录制与重放插件内置录制功能你的手动操作会被记录下来生成可重放的脚本批量任务一次排队执行多条指令适合多页面巡检、多账号操作定时无人值守把脚本挂到系统定时任务里到点自动跑全程不需要人盯着起步前你可能想问要编程基础吗不用。插件和 Playground 的使用路径全程是自然语言输入只有想把它集成进自己的测试框架时才需要写代码。支持哪些浏览器以 Chrome 为主插件就是 Chrome 扩展如果你已用 Puppeteer 或 Playwright 写脚本也可以直接集成。数据安全吗截图和执行都在你自己环境里完成支持接入自托管模型数据不必发往第三方。执行快不快每个步骤都要截图并调用一次模型首轮不会特别快重复任务可以走缓存命中跑得会更快。从你每天真会做的一件小事开始就好比如打开商品页提取前五个商品的名字和价格跑通一次你就知道它能干什么了。【免费下载链接】midsceneGUI Agent for E2E Testing项目地址: https://gitcode.com/GitHub_Trending/mid/midscene创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考