• 人工智能
• 大模型
• 多模态

Ling-3.0-flash-VL-int4是 inclusionAI 推出的原生多模态大模型的 4-bit 量化版本，支持直接输入图片和长视频，完成视频理解、长视频问答（Long Video QA）和事件定位（Event Localization）——比如秒回"视频里 3 分 20 秒发生了什么"。本文从零开始，带你用不到 10 分钟把它部署起来，并学会三类最常用的实战玩法 👇

一、为什么它适合做视频理解？

普通多模态模型"看得懂图片"，但长视频往往因为上下文不够、时序编码弱而抓瞎。Ling-3.0-flash-VL 在设计上就为视频场景做了针对性优化：

💡 int4 版本并非"全面压缩"：从 config.json 的量化配置可以看到，visual、注意力层等敏感模块被排除在量化之外，尽量保留精度。

关键结论：理解 → 推理 → 行动是它的三大能力维度，而"用时间戳定位事件"正是其视频方向的招牌技能。

二、快速部署：两种方式启动推理服务

方式一：SGLang Docker 部署（推荐）

先拉取镜像：

docker pull lmsysorg/sglang:dev-Ling-3.0-flash-VL

然后启动服务（推荐配方，2× 141GB 级显卡，如 H200 / B300）：

docker run --rm --gpus all --ipc=host --shm-size 32g \ -p 30000:30000 \ -e HF_TOKEN=<your-hf-token> \ lmsysorg/sglang:dev-Ling-3.0-flash-VL \ python3 -m sglang.launch_server \ --model-path inclusionAI/Ling-3.0-flash-VL-int4 \ --tp-size 2 \ --trust-remote-code

如果是 80GB 显存卡（H100 / H800），同样用--tp-size 2横向扩展即可。完整参数（含 256K 长上下文 YaRN 配置）见 README.md 的 Quickstart 章节。

方式二：vLLM 部署

使用官方适配的 vLLM 分支（vllm-ling-v3），核心启动命令：

vllm serve "$MODEL_PATH" \ --tensor-parallel-size 2 \ --gpu-memory-utilization 0.85 \ --trust-remote-code \ --tool-call-parser ling3 \ --reasoning-parser ling3

两种服务都提供 OpenAI 兼容的/v1/chat/completions接口，后续请求方式完全一致。

三、发送第一条视频请求：长视频变"可对话"素材

视频输入与图片输入使用同一套消息结构，只需把type换成video_url：

curl -s http://localhost:30000/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{"model": "inclusionAI/Ling-3.0-flash-VL", "messages": [{"role": "user", "content": [ {"type": "video_url", "video_url": {"url": "https://example.com/long_video.mp4"}}, {"type": "text", "text": "请总结这段长视频的核心内容。"} ]}], "stream": true, "temperature": 1.0, "top_k": 20, "top_p": 0.95}'

两个新手常问的问题：

• 要不要开"思考模式"？默认开启（chat template 默认enable_thinking: true，见 chat_template.jinja）。视频问答建议保留思考模式；如需关闭，加参数"chat_template_kwargs": {"enable_thinking": false}。
• 采样参数用什么？官方推荐 generation_config.json 中的默认值：temperature=1.0、top_p=0.95、top_k=20。

四、三大实战场景：总结、问答、事件定位

场景 1：一句话总结长视频

提问示例："请用 200 字概括这段视频讲了什么，并列出关键时间点。"

得益于 256K 上下文，几十分钟的长视频抽帧后仍可整体进入模型，无需自己切段拼接。

场景 2：长视频多轮问答

视频支持在消息列表中出现多次、也可与文本多轮交替，模型可跨帧做计数、比较、推理。例如连续追问"第 2 段里出现的物体数量是多少？"。

场景 3：事件定位——"它到底发生在第几秒？"

这是 Ling-3.0-flash-VL 最亮眼的视频能力，背后有两层机制保障：

1. 帧级时间戳对齐：处理器会把每一帧与其真实时间戳交错嵌入输入。查看 processing_bailingmm2.py 可以看到，每一帧前都会插入形如<12.5 seconds>的标记，模型因此"知道"每个画面发生在哪一秒。
2. 智能抽帧：预处理管线 bailingmm_utils_video.py 默认按2 FPS采样，并通过 SAD（帧间绝对差）关键帧过滤（见 resample_SAD）自动剔除冗余静止帧——长视频抽帧更少、token 更省，而运动密集的关键片段反而被保留得更好。

提问示例："视频中主角拿起钥匙是在第几秒？请用 'MM:SS' 格式回答。"

模型会基于时间戳推理给出精确区间，这就是事件定位的典型用法，可直接用于视频剪辑、内容审核、素材检索等任务。

五、常见配置速查

六、关键文件导读

七、总结

• 🚀Ling-3.0-flash-VL-int4= 124B MoE + 256K 上下文 + 原生视频理解，int4 量化大幅降低部署门槛
• 🛠 SGLang / vLLM 两条路均可一键起服，OpenAI 兼容接口让接入成本极低
• 🎯 凭 VideoRoPE 时空编码 + 帧级时间戳，事件定位、长视频问答、视频剪辑三大场景开箱即用
• 📌 记住三件套：video_url传视频、默认开思考、采样参数照抄官方配置

按本教程走一遍，你的长视频库就已经变成"可对话素材库"了。

• 人工智能
• 大模型
• 多模态