InternVL3-1B-Pretrained 是 OpenGVLab 开源 InternVL3 系列中的 1B 参数预训练版多模态大模型，由 InternViT 视觉塔 + MLP 投影器 + Qwen2.5-0.5B 语言模型组成。本文带你掌握它的一个实用技巧：借助 transformers 的 TextIteratorStreamer 实现流式输出（Streaming Output），让模型回答像聊天软件一样逐字即时显示，而不是干等整段文本生成完毕。

为什么需要流式输出？

多模态模型的完整响应往往需要数秒甚至更久。默认的model.chat调用会阻塞直到全部 token 生成，用户体验是"长时间空白 + 一次性蹦出全文"。

而流式输出把体验变成：

• 📡即时反馈：第一个字几秒内就出现，用户知道系统在工作；
• 📝逐字呈现：每个新生成的文本片段随到随显，类似主流对话产品的打字机效果；
• 🎛️低延迟感知：实际总耗时不变，但"体感等待"大幅缩短。

实现方案就是 transformers 内置的TextIteratorStreamer：它在生成线程里逐 token 解码文本并写入内部缓冲，主线程则以迭代器方式"取走"这些文本片段。

准备工作：加载模型与图片

官方 Quick Start 给出了完整的加载与推理代码（见 README.md 的 "Inference with Transformers" 章节），核心是两步：

model = AutoModel.from_pretrained( path, torch_dtype=torch.bfloat16, low_cpu_mem_usage=True, use_flash_attn=True, trust_remote_code=True).eval().cuda() tokenizer = AutoTokenizer.from_pretrained(path, trust_remote_code=True, use_fast=False)

注意需安装transformers>=4.37.2，并通过trust_remote_code=True加载仓库自带的自定义模型代码 modeling_internvl_chat.py。

下面这张图就是官方示例中使用的测试图片（examples/image1.jpg），正好可以用它来验证流式描述效果：

三步实现逐字即时输出

官方 README 的 "Streaming Output" 小节提供了完整做法（README.md），整个流程可以拆成三步：

1. 创建 TextIteratorStreamer

from transformers import TextIteratorStreamer from threading import Thread streamer = TextIteratorStreamer(tokenizer, skip_prompt=True, skip_special_tokens=True, timeout=10)

三个关键参数的含义：

2. 把 streamer 注入生成配置，开线程生成

将 streamer 作为参数放进generation_config，然后在独立线程中执行model.chat——这一点至关重要，因为生成过程会阻塞：

generation_config = dict(max_new_tokens=1024, do_sample=False, streamer=streamer) thread = Thread(target=model.chat, kwargs=dict( tokenizer=tokenizer, pixel_values=pixel_values, question=question, history=None, return_history=False, generation_config=generation_config, )) thread.start()

model.chat内部会组装对话模板并调用generate（实现见 modeling_internvl_chat.py），生成配置里的streamer会被原样传给底层生成过程。

3. 主线程遍历 streamer 逐段打印

generated_text = '' for new_text in streamer: if new_text == model.conv_template.sep: break generated_text += new_text print(new_text, end='', flush=True)

主线程像读管道一样持续拉取新文本，flush=True保证立即刷新到屏幕。这里有个容易踩的坑：遇到model.conv_template.sep就要 break，否则会一直等下一次不存在的输出、直到 timeout 才退出。

常见坑与调优技巧 🎯

1. 必须在子线程中生成：generate会一直运行到结束，若与遍历 streamer 的循环写在同一线程，循环永远拿不到数据（死锁式卡住）。
2. timeout要预留余量：网络/IO 较慢或 GPU 繁忙时，片段间隔可能超过默认值，调大timeout可避免误超时。
3. do_sample的选择：官方流式示例用do_sample=False做确定性输出；想要更有创造性的回答可改用do_sample=True，不影响流式机制。
4. 拼接完整文本：如需后续存入history做多轮对话，应累加generated_text（如上面示例），不要只依赖控制台打印。
5. 部署场景的替代方案：如果追求更高吞吐与原生流式 API，可以走 LMDeploy 部署路线，lmdeploy serve api_server一行命令即可起 OpenAI 兼容的流式服务接口，适合生产环境。

小结

• 想给 InternVL3-1B-Pretrained 的响应加"打字机效果"，只需三件事：建 streamer → 线程里生成 → 主线程迭代打印；
• 核心参数skip_prompt/skip_special_tokens/timeout决定输出干净度与健壮性；
• 记得在conv_template.sep处 break，避免线程卡死。

更多用法（多图对话、视频理解、8-bit 量化加载、多卡切分）可参考 README.md，模型结构细节可查阅 modeling_internvl_chat.py 与视觉塔实现 modeling_intern_vit.py。