InternVL3_5-30B-A3B-MPO 是 InternVL3.5 系列中的一款 30.8B 开源多模态大模型（MoE 架构，激活约 3B 参数），本文针对它的流式输出与**批量推理（batch_chat）**两条推理路径，整理了一套面向新手的实用技巧，帮助你显著降低响应延迟、提升多图批处理吞吐量。

一、先认识 InternVL3_5-30B-A3B-MPO：为什么它"天生适合高效推理"

💡 MoE 模型在单卡上的优势很明显：官方说明 30B 以内的模型可用单张 A100部署（bf16），见 README.md。

模型文件说明：视觉权重在 vision.safetensors，语言侧按层拆分为layer-0至layer-47共 48 个 safetensors 文件，另有 others.safetensors 存放视觉 MLP、像素重排等小模块，索引见 model.safetensors.index.json。

二、快速起步：加载模型的完整指南

使用transformers>=4.52.1加载（务必加trust_remote_code=True，因为模型依赖仓库内的自定义代码 modeling_internvl_chat.py）：

import torch from transformers import AutoTokenizer, AutoModel path = "OpenGVLab/InternVL3_5-30B-A3B-MPO" model = AutoModel.from_pretrained( path, torch_dtype=torch.bfloat16, low_cpu_mem_usage=True, use_flash_attn=True, # 开启 Flash Attention，长序列提速明显 trust_remote_code=True, device_map="auto").eval() tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True, use_fast=False)

新手速查清单：

• 🖥️ 显存不够：改用load_in_8bit=True加载 8-bit 量化版本
• ⚡ 速度优先：保持use_flash_attn=True
• 🎛️ 对话模板与 token 配置：见 conversation.py 与 tokenizer_config.json

三、流式输出：让响应"即时可见"的关键技巧

默认model.chat会等全部文本生成完才返回。对长回答（如详细描述、思考模式）来说，用户等待体验差。官方推荐的流式方案是TextIteratorStreamer+ 独立线程，核心逻辑在 README.md：

from transformers import TextIteratorStreamer from threading import Thread streamer = TextIteratorStreamer( tokenizer, skip_prompt=True, skip_special_tokens=True, timeout=10) generation_config = dict(max_new_tokens=1024, do_sample=False, streamer=streamer) thread = Thread(target=model.chat, kwargs=dict( tokenizer=tokenizer, pixel_values=pixel_values, question=question, history=None, return_history=False, generation_config=generation_config)) thread.start() for new_text in streamer: if new_text == model.conv_template.sep: # 遇到对话分隔符即停止 break print(new_text, end='', flush=True)

流式输出 3 个实用技巧：

1. 一定要判断sep终止符：流式迭代器不会自己停，遇到对话模板分隔符（model.conv_template.sep）需主动break，否则会阻塞超时；
2. timeout=10兜底：防止模型意外卡死导致主线程永久挂起；
3. 生成在子线程、打印在主线程：这样前端（Web/终端）可以边收边渲染，用户感知延迟从"整段生成时间"降到"首 token 时间"。

chat方法的完整实现见 modeling_internvl_chat.py，其中generation_config会原样透传给底层generate（modeling_internvl_chat.py），因此所有采样参数（do_sample、temperature等）都可自由配置。

四、批量推理：用 batch_chat 提升多图吞吐

需要一次性处理多张图（如批量图片描述、文档解析）时，用model.batch_chat比循环调用chat高效得多——所有样本共享一次视觉编码与一次批量生成，实现见 modeling_internvl_chat.py。

批量推理 4 个核心要点：

pv1 = load_image('./examples/image1.jpg', max_num=12).to(torch.bfloat16).cuda() pv2 = load_image('./examples/image2.jpg', max_num=12).to(torch.bfloat16).cuda() num_patches_list = [pv1.size(0), pv2.size(0)] pixel_values = torch.cat((pv1, pv2), dim=0) questions = ['<image>\nDescribe the image in detail.'] * 2 responses = model.batch_chat(tokenizer, pixel_values, num_patches_list=num_patches_list, questions=questions, generation_config=dict(max_new_tokens=1024, do_sample=True))

完整示例（含多图对话、视频多轮）见 README.md。

服务端批量推理：LMDeploy 批量提示

若已部署为服务，LMDeploy 的pipe支持把多个(prompt, image)元组放进一个 list 一次性推理，吞吐进一步提升；也可用lmdeploy serve api_server一键启动 OpenAI 兼容的 REST 接口（stream: true即可流式），详见 README.md。

五、调优清单：进一步榨干性能

• 控制图像切块数max_num：load_image(..., max_num=12)默认最多 12 块。对分辨率要求不高的任务，调成4~6可成倍减少视觉 token，批量场景收益最大；
• 批量大小与显存权衡：batch_chat的 batch 越大，ViT 前向越充分，但 KV cache 显存随之增长，建议从 4~8 开始逐步加压测试；
• Thinking 模式的采样设置：启用思考模式时官方建议do_sample=True, temperature=0.6，避免退化重复，见 README.md；
• 视觉-语言解耦部署（DvD）：官方推理架构将 ViT/MLP 与 LLM 拆到不同 GPU 异步流水执行，多模态 prefill 接近纯文本速度，是大规模在线服务下"响应更快、吞吐更高"的系统级答案，见 README.md；
• 版本选择：若追求极限推理效率，可关注后续发布的 InternVL3.5-Flash 版本（引入视觉分辨率路由器 ViR，视觉 token 再压缩 50%），见 README.md。

小结

InternVL3_5-30B-A3B-MPO 的"快"来自两层：模型层的 MoE 架构 + 轻量视觉塔，使用层的流式输出（首 token 立即可见）与batch_chat 批量推理（共享视觉编码、批量解码）。掌握本文的加载参数、sep终止判断、num_patches_list传递和max_num调优四个关键点，你就能在单卡 A100 上获得低延迟、高吞吐的多模态推理体验。