• 人工智能
• AI 技能
• 计算机视觉
• OCR
• GUI 自动化
• 大模型
• DeepSeek

agent-vision-toolkit 是一款为纯文本大模型设计的 Agent 视觉工具箱，支持多图理解、图片问答、长截图 OCR、前端 UI 还原和 GUI 自动化。它最大的亮点是一句话安装：把一段提示词发给你的 Agent，它就会自动完成视觉工具箱、skill 和可选无缝接入层的安装与配置，全程无需手动改环境。这篇教程带你 3 分钟走通完整流程。

先搞清楚：它能解决什么问题

如果你在用 DeepSeek 这类纯文本模型驱动 coding Agent，大概率遇到过这种场景：

• 粘贴一张截图给 Agent，被告知"模型不支持图片输入"，直接报错；
• 想让 Agent 照着设计稿还原 UI、读长截图、看界面排 bug，统统做不了。

agent-vision-toolkit 的思路是：视觉能力不一定长在模型里，也可以长在工具链里。它提供两部分内容：

1. 视觉工具 CLIs + skill：glance（看图问答/OCR）、ground（目标定位）、detect（元素盘点）、trace（矢量描摹）、crop（区域裁图），外加一个教 Agent "什么时候用哪个工具" 的 vision-skills 技能。任何能调用 shell 的 Agent 都能用；
2. 无缝接入层（可选升级）：透明本地代理 + 单文件原生插件，让"直接粘贴图片"和"Agent 内置看图工具"都能正常工作，详见 AGENT_INSTALL.md。

一句话安装：把这段提示词发给你的 Agent

这是最简单的方式，官方称之为 "one-sentence install"。直接对你的 Agent 说：

根据 https://gitcode.com/Anionex/agent-vision-toolkit 的仓库指引，在本地安装视觉工具箱和 skill。如果视觉 API 尚未配置，请按当前系统找到配置文件，并引导我填写VISION_API_KEY、VISION_BASE_URL和VISION_MODEL。

如果你还想要无缝接入层（粘贴图片直接可用），改为发送：

完整阅读 agent-vision-toolkit 仓库的 AGENT_INSTALL.md，根据我们当前使用的 agent 应用，安装适用的视觉代理或原生 extension/plugin。如果视觉 API 尚未配置，请按当前系统找到配置文件，并引导我填写VISION_API_KEY、VISION_BASE_URL和VISION_MODEL。

📌你只需要准备一样东西：一个支持 OpenAI Chat Completions、OpenAI Responses 或 Anthropic Messages 协议的多模态 API，以及它的 base URL、API key 和模型名。剩下的，Agent 会引导你一步步完成。

安装过程在做什么：3 步手动流程详解

想搞懂 Agent 替你干了什么？整个安装就 3 步：

如果偏好手动操作，第 2 步的命令就是：

git clone https://gitcode.com/Anionex/agent-vision-toolkit.git export PATH="$PWD/agent-vision-toolkit/bin:$PATH" # 写入 shell 配置以持久生效

第 1 步的配置格式，只需 3 行：

VISION_API_KEY=sk-... VISION_BASE_URL=https://your-vision-endpoint/v1 VISION_MODEL=your-vision-model

⚙️ 环境要求也很低：glance只需 Python 3.11+；ground/detect/crop和长截图 OCR 另需pillow。按需安装即可，无需为用不到的工具装依赖。

进阶：无缝接入层，让粘贴图片直接可用

基础安装后，Agent 通过glance等命令看图。而无缝接入层更进一步——图片直接粘贴进对话、或 Agent 调用内置看图工具（如 Codex 的view_image）都不再报错：

所有入口共享同一份VISION_*配置，一次配置、处处可用。接入层的完整部署细节（备份配置、后台常驻、验证流程）都写在 AGENT_INSTALL.md 里，直接让 Agent 照做即可。

核心原理：focus hint，让看图"有的放矢"

很多"图片转文字"方案只是让多模态模型写一段通用描述，再交给纯文本模型自己拼凑，中间必然丢信息。

agent-vision-toolkit 的做法是先提取Agent 为什么想看这张图（你的原始请求，或模型调用看图工具时自述的理由），把它作为focus hint一并交给视觉模型。拿回来的就不再是"一个带侧边栏的界面"这种空话，而是布局、组件、间距、颜色等当前这一步真正要紧的细节——成本更低、准确率更高、响应更快。

装完就能用：4 个立竿见影的场景

✅图片问答：贴一张设计图问"这种背景风格叫什么"，Agent 会给出弥散渐变、Mesh Gradient 等风格辨析，甚至附上 CSS 实现；

✅看图排 bug：贴一张界面截图问"为什么字段名称不符合预期"，Agent 直接对照代码定位问题并给出修复方案；

✅UI 还原：从手绘稿或网页截图还原出可编辑的 HTML 界面，流程见 restore-ui 技能指南；

✅长截图 OCR：聊天记录、滚动长页逐块识别并按序合并，完整示例见 examples/long-screenshot-ocr/。

常见问题

会大幅增加费用吗？不会。每次看图只把必要的意图和图片送入多模态模型上下文，且有截断机制，不存在上下文膨胀。想进一步压成本，还可以用本地部署的视觉小模型（如 Qwen-VL 系列）充当视觉端。

代理需要再配一份上游 API key 吗？不需要。你的文本模型鉴权头由 Agent 原样携带，代理只透传，env里只写视觉 API 的三个变量。

有使用限制吗？它是"图片转文字"层，不会把视觉 token 直接交给文本模型；整体效果由主模型 + 视觉模型共同决定；代理缓存重启即清空。

写在最后

3 分钟流程回顾：发一句安装提示词 → 填 3 个VISION_*配置 → 重启 Agent。之后无论是图片问答、长图 OCR 还是 UI 还原，你的纯文本 Agent 都能像多模态模型一样"看"世界。这就是 agent-vision-toolkit 想给你的东西——给 Agent 装上眼睛，而且一句话就装好。

• 人工智能
• AI 技能
• 计算机视觉
• OCR
• GUI 自动化
• 大模型
• DeepSeek