Fara1.5-4B 是微软研究院 AI Frontiers 团队开源的多模态浏览器自动智能体（Computer Use Agent，CUA）。它只看浏览器截图就能替你点击、输入、滚动、填表、下单、订餐，无需解析网页 DOM。本文带你 5 分钟看懂这个模型能做什么、怎么部署、以及它的"安全刹车"机制。

一、Fara1.5-4B 是什么：像人一样看网页的 AI 智能体

传统网页自动化脚本依赖 DOM 结构或无障碍树，一旦页面改版就容易失效。而 Fara1.5-4B 采用了和人类完全一致的感知方式——纯视觉（vision-only）：

• 输入：你的文字目标 + 当前浏览器截图 + 之前的思考与动作历史
• 输出：一段推理过程（Chain-of-Thought）+ 结构化的工具调用（点击坐标、输入文本、滚动、跳转 URL 等）
• 感知：只依赖截图，不需要 DOM 或 Accessibility Tree，所见即所得

模型基于 Qwen3.5-4B 基座，通过微软自研的多智能体数据管线FaraGen1.5（合成任务 → 执行轨迹 → 验证结果）进行监督微调，训练语料约 10 亿文本 token、近 10 亿张训练图片。

💡 4B 的参数量意味着它可以在单张 A100 / H100 / B200 甚至 A6000 上跑起来，是个人开发者也能上手的"轻量级"浏览器智能体。

二、核心能力：为什么它能端到端完成网页任务

1️⃣ 不是"乱点"，而是"为目标而行动"

Fara1.5-4B 擅长把任务拆解成有序动作序列，端到端完成：

• 填写各类表单（申请、注册、预订）
• 订餐、订位、预约旅行
• 投递简历、规划行程、逛购物车

2️⃣ 像素级精准落点

模型直接预测点击和拖拽的像素坐标，不需要额外的定位（grounding）模型，定位能力内置。

3️⃣ 关键节点安全设计（Critical Points）

这是它最亮眼的特性：模型被训练成在以下场景主动停下来问你，即使技术上它能继续执行：

• 需要填写你未提供的个人信息（姓名、邮箱、电话、支付信息）
• 任务描述含糊、信息不足
• 即将执行不可逆操作（提交表单、完成购买、发送消息、登录账号）

4️⃣ 长上下文记忆

262K 的上下文足够容纳多张截图 + 完整动作历史，适合长流程任务。对话中通常只保留最近 3 张截图以控制开销。

三、性能实测：小身材如何刷出好成绩

微软在多个端到端网页智能体基准上给出了成绩：

4B 版本在 WebVoyager 上达到80.8%的任务成功率，接近大得数倍的同门 27B 版本。对于"填表、预订、购物"这类日常任务，4B 版本性价比极高。

四、工作原理：截图进去，动作出来的智能体循环

用一个生活化的例子："在 Sunnyvale 找一家寿司店，订周五晚 7 点两人的位子。"

1. 看：模型读取当前浏览器截图（推荐分辨率1440×900）
2. 想：输出一段推理文本（Chain-of-Thought）
3. 做：生成tool_call块，调用computer_use函数执行一个动作
4. 反馈：执行后重新截图，追加到对话历史
5. 循环：直到模型发出terminate结束任务

它支持的全部动作如下：

🎯 一句话总结：截图 → 思考 → 动作 → 新截图，不断循环，直到任务完成或需要你确认。

五、本地部署最快方法：三步跑起 Fara1.5-4B 浏览器智能体

第一步：准备环境

• torch >= 2.11.0
• transformers >= 5.2.0
• vllm >= 0.19.1
• 一张能放下 4B bf16 模型的显卡（A6000、A100、H100、B200 均已验证）

第二步：用 vLLM 起服务

vllm serve microsoft/Fara1.5-4B \ --dtype bfloat16 \ --max-model-len 262144 \ --limit-mm-per-prompt image=10

第三步：接入智能体框架

官方强烈建议搭配fara CLI或MagenticLite框架使用（该模型与 MagenticLite 是协同设计的）。MagenticLite 提供：

• 沙箱：浏览器跑在 Docker 容器内，隔离宿主机文件和环境变量
• 白名单：限制只能访问你指定的域名
• 观察模式：实时查看每一步动作与完整轨迹日志
• 一键暂停：随时叫停智能体

⚠️ 安全提醒：如果自行集成模型，上述沙箱、白名单、监控、暂停机制需要你自己实现。切勿在存有敏感信息的机器上给模型无限制浏览器权限。

模型仓库文件可直接克隆研究：

git clone https://gitcode.com/hf_mirrors/microsoft/Fara1.5-4B

六、模型必须原样使用系统提示词

Fara1.5-4B 是针对特定系统提示词训练的，最佳效果需要逐字使用官方提示词（完整版本随 MagenticLite 框架内置，含完整的computer_use工具 schema）。其中关于"关键节点"的定义是理解它安全设计的核心：

• 情况 1：缺少用户信息— 绝不编造个人信息，只填用户明确提供的字段，缺什么问什么
• 情况 2：任务不明确— 在当前决策点无法判断时，停下来澄清
• 情况 3：不可逆操作— 除非用户事先明确授权，否则一律停下确认

七、仓库文件全解：每个文件是干什么的

这个仓库是一个标准的 Hugging Face 模型仓库，各文件分工如下：

想深挖架构细节可以看 config.json 中的隐藏层尺寸（2560）、32 层结构，以及交替出现的linear_attention与full_attention层设计——这也是它能高效处理 262K 长上下文的秘密之一。

八、适用边界：能做什么，不能做什么

✅ 适合的场景

• 重复性网页任务：填表、购物、订旅行、订餐厅、信息检索
• 作为其他智能体的"定位模型"，提供像素级精准的动作预测
• 英文网页环境下的自动化研究与生产原型

❌ 不在能力范围（官方明确）

• 非英文语言（训练数据仅英文）
• 法律、医疗、金融建议等高风险领域
• 影响法律地位、住房、就业、信贷的决策
• 无沙箱、可触及敏感账号和文件的部署方式
• 未经额外测试与防护的正式商用

⚠️ 已知局限

• 纯视觉感知可能被低质渲染、欺骗性页面、提示词注入误导
• 多步任务中早期误点击会误差累积
• 存在运行间波动，基准成绩为多次运行平均值
• 可能"幻觉"页面状态，误把早前截图的信息安到当前页面上

官方建议的防护清单：人工监督 + 快速中止能力、容器化沙箱执行、域名白/黑名单、不向智能体共享凭据和个人信息、对输出结果保持人工核验。

九、常见问题

Q：Fara1.5-4B 和 9B、27B 版本怎么选？预算有限或任务以表单、预订为主，4B 足够（WebVoyager 80.8 分）；追求极限成功率再考虑更大版本。

Q：没有 GPU 能跑吗？4B bf16 权重约 9 GB，至少需要一张 A6000 级别的显卡；纯 CPU 推理不现实。

Q：可以直接拿来做我的私有浏览器助手吗？可以，但请务必自行补齐沙箱、域名限制、动作监控和一键暂停，官方强调这些安全控制是部署方的责任。

Q：为什么它总在我付款前停下来？这不是 bug，而是"关键节点"安全设计：不可逆操作必须经你明确授权才能继续。

十、写在最后

Fara1.5-4B 把"会看截图的浏览器智能体"这件事做到了 MIT 许可、单机可跑的程度。它像一位谨慎的数字助理：干活麻利，但一到掏钱、提交、填个人信息的关口，总会先回头看你一眼。想进一步了解细节，建议精读 README.md 的 Highlights 与 Tool schema 部分。