想在本地跑一个能"看图说话"的开源多模态大模型吗？InternVL2_5-4B-AWQ 是一个基于 InternVL 2.5 系列的 4B 级视觉语言模型（VL Model），并已使用 AWQ 4-bit 量化压缩，体积仅约 3.3GB，消费级显卡也能本地部署。这篇教程面向零基础用户，带你 5 分钟完成本地部署，实现图片问答、多图理解与多轮图文对话。

InternVL2_5-4B-AWQ 是什么？能做什么？

InternVL 2.5 是上海 AI Lab（OpenGVLab）推出的多模态大模型系列，采用经典的ViT-MLP-LLM架构：视觉编码器（InternViT）负责"看懂"图片，通过 MLP 投影层对齐到语言模型，语言模型（Qwen2.5-3B-Instruct）负责生成回答。

本仓库是InternVL2_5-4B 的 AWQ 量化版，主要能力包括：

• 🖼️图片问答：描述图片内容、识别物体、读图 OCR
• 📸多图理解：一次传入多张图片进行对比分析
• 💬多轮图文对话：结合上下文连续追问
• 🔌OpenAI 兼容接口：可一键打包成 RESTful 服务

AWQ（Activation-aware Weight Quantization）是一种权重量化技术：把 FP16 权重压缩为 4-bit 存储，模型体积缩小到约 1/4，显存占用大幅降低，而精度损失很小。量化参数可直接在 config.json 的quantization_config字段中查看（bits: 4、group_size: 128、quant_method: awq）。

仓库里都有什么文件？

下载仓库后，你拿到的就是一个"开箱即用"的完整模型包：

💡 小细节：配置中的force_image_size: 448和dynamic_image_size: true表示模型支持动态分辨率——图片会被切成 448×448 像素的小块（tiles）分别识别，再拼合理解，因此既能处理小图，也能处理高分辨率大图。

硬件要求与安装步骤（最快配置方法）

硬件要求清单

4-bit 量化后模型权重仅 3.3GB 左右，加上推理时激活值与 KV Cache 的开销，一张 8GB 显存的显卡（如 RTX 3060 12G、4060）即可流畅运行。

一键安装

1️⃣ 获取模型文件（二选一）：

git clone https://gitcode.com/OpenGVLab/InternVL2_5-4B-AWQ

2️⃣ 安装推理框架 LMDeploy（官方推荐，专为 VLM 优化）：

pip install "lmdeploy>=0.6.4"

3️⃣ 如果运行示例时提示ImportError，请按报错提示安装对应依赖包即可。

第一次运行：让模型描述一张图片

只需 5 行代码就能完成第一次图文问答。新建一个 Python 文件，写入以下代码并运行：

from lmdeploy import pipeline from lmdeploy.vl import load_image # 模型路径：本地目录或 'OpenGVLab/InternVL2_5-4B-AWQ' model = 'OpenGVLab/InternVL2_5-4B-AWQ' image = load_image('tiger.jpg') # 替换成你的图片路径 pipe = pipeline(model) response = pipe(('describe this image', image)) print(response.text)

运行后终端会输出模型对图片的文字描述。首次运行会自动下载/缓存模型，之后再次启动会快很多。🎉

进阶玩法：多图输入与多轮对话

多图片一次性理解

把多张图片放进一个列表即可。注意：多张图片会占用更多输入 token，上下文窗口需要相应增大；给图片编号能让对话效果更稳定：

from lmdeploy.vl import IMAGE_TOKEN images = [load_image('a.jpg'), load_image('b.jpg')] prompt = f'Image-1: {IMAGE_TOKEN}\nImage-2: {IMAGE_TOKEN}\ndescribe these two images' print(pipe((prompt, images)).response.text)

多轮图文对话

利用pipeline.chat接口可以带着上下文连续追问：

from lmdeploy import GenerationConfig gen_config = GenerationConfig(top_k=40, top_p=0.8, temperature=0.8) sess = pipe.chat(('describe this image', image), gen_config=gen_config) print(sess.response.text) sess = pipe.chat('What is the woman doing?', session=sess, gen_config=gen_config) print(sess.response.text)

一键部署为 OpenAI 兼容 API 服务

如果你想在自有应用（网页、小程序、其他服务）中调用模型，LMDeploy 提供了一条命令启动服务的方案：

lmdeploy serve api_server OpenGVLab/InternVL2_5-4B-AWQ --server-port 23333

启动后，它提供的 RESTful API 与 OpenAI 接口兼容。安装openaiSDK 后，把base_url指向http://0.0.0.0:23333/v1，即可像调用云端大模型一样调用本地模型，消息体中同时支持text与image_url两种内容类型（详见 README.md 中的 Service 一节）。

常见问题排查（错误信息速查）

总结：下一步可以做什么？

• ✅ 你已完成：本地跑通 InternVL2_5-4B-AWQ，实现图片问答
• 🔭 扩展能力：接入自己的业务图片做 OCR、巡检、文档理解等场景
• ⚙️ 服务化：用api_server打包为 OpenAI 兼容接口供团队共用
• 📦 版本选择：需要更强能力时，可关注 InternVL 2.5 系列更大的 8B / 26B / 38B 版本（见 README.md 的模型家族表）

本项目采用 MIT 许可证（语言部分组件遵循 Apache License 2.0），可放心用于学习与商业场景。祝你玩得愉快！🚀