本文面向新手，带你完整掌握 Mistral-7B-Instruct-v0.2_rai_1.8.0_npu_4K 这款 AMD Ryzen AI 专用 4K 上下文量化模型的 [INST] 对话模板，从零开始写出正确的单轮、多轮对话提示词，并搞懂上下文长度限制与采样参数，让模型回答更稳定、更聪明。

一、30 秒认识这个模型 🎯

在写提示词之前，先搞清楚"我们在跟谁说话"：

• 模型本体：基于开源模型 Mistral-7B-Instruct-v0.2，32 层、32 个注意力头、词表 32000，架构与关键参数见 config.json。
• 量化策略：AWQ / Group 128 / 非对称 / BFP16 激活 / UINT4 权重，量化配置在 config.json 的quantization_config字段中，体积更小、适合端侧推理。
• 部署目标：通过 Quark 量化 + OGA Model Builder + NPU 后处理（Full Fusion 4K 上下文），专为 AMD Ryzen AI 处理器优化，推理入口文件为 model.onnx 与 model.onnx.data，运行配置见 genai_config.json。

💡 简单说：这是一个"为 AMD 笔记本 NPU 量身裁剪"的 Mistral 对话模型，你只需按它的模板组织文字，剩下的交给硬件。

二、[INST] 对话模板拆解：模型如何"读懂"你的输入

Mistral 系列不用 ChatML 那种<|user|>标签，而是用一对[INST]/[/INST]括号包裹用户输入。完整的模板逻辑全部写在 chat_template.jinja 中，可以概括成一句话：

<s> [INST] 用户说的话 [/INST] 模型的回复</s>

模板逐段解析（对应 chat_template.jinja）：

两条硬性规则（模板里直接raise_exception，见 chat_template.jinja）：

1. 除可选的 system 外，user 与 assistant 角色必须严格交替；
2. 只支持user/assistant（以及首条可选system）两种角色。

特殊 token 的定义可以在 tokenizer_config.json 和 special_tokens_map.json 中核对：<s>（bos）、</s>（eos）、<unk>。

三、单轮对话实战：构造你的第一句提示词

把messages = [{"role": "user", "content": "介绍一下你自己"}]按模板渲染后，模型实际收到的文本是：

<s> [INST] 介绍一下你自己 [/INST]

模型从[/INST]之后的位置开始生成，生成到</s>时自然停止。新手最常见的两个错误：

• ❌ 少了开头<s>，或漏掉[/INST]闭合标签；
• ❌ 在[INST]前手动加了多余的换行（模板规定[INST]前恰好一个空格）。

四、多轮对话实战：让模型"记住"上文 🗨️

多轮对话的本质是：把历史轮次的完整问答拼在提示词里。以三轮对话为例（system + 两轮问答 + 新一轮提问），渲染后的完整输入长这样：

<s> [INST] 你是一个简洁的助手。 用一句话说明什么是量子计算。 [/INST] 量子计算是利用量子比特叠加与纠缠进行计算的新技术。</s> [INST] 那它和经典计算最大的区别是什么？ [/INST] 最大区别是量子比特可以同时处于多个状态。</s> [INST] 帮我举个具体例子。 [/INST]

对照拆解：

1. 每一轮user都用[INST] ... [/INST]包裹（chat_template.jinja L17）；
2. 每一轮assistant历史回复后都带</s>（chat_template.jinja L20），这既是分隔符也是"上一轮结束"的信号；
3. 最后一轮只写用户问题，不写回复，由模型现场生成——注意结尾停在[/INST]之后，等待模型补全。

✅ 实操建议：多轮对话时，历史轮次尽量保留原文，不要自行改写或截断，否则模型对上下文的把握会明显下降。

五、4K 上下文与长度限制：多轮对话的"天花板"

这个项目名里的 "4K" 指 NPU 侧融合优化了 4096 token 的上下文路径，但要注意几个不同层面的数字：

• 模型理论上下文：max_position_embeddings为 32768（config.json L14），分词器model_max_length同为 32768（tokenizer_config.json L37）；
• 实际提示词上限：由 rai_config.json 决定，Ryzen AI 1.6.0 及以上版本max_prompt_length为4096，更早的 1.3.1 ~ 1.5.1 为 2048；
• Prefill 缓存档位：目录下的dd_metastate_Llm_Prefill_*系列文件对应 128、256、512、768、1024、1536、2048、2304、3072、4096 十档预填充长度，运行时会自动选择最接近的档位复用缓存，所以长度贴近这些档位时首字延迟更低；
• 单次生成长度上限：max_length为 4096（genai_config.json L46）。

📌 多轮对话经验法则：system + 全部历史 + 当前提问的总 token 数控制在 4096 以内。轮数多了以后，可以对早期轮次做摘要压缩，把最近几轮保留为原文。

六、生成参数速查：一行看懂默认采样设置

推理时的采样参数默认值集中在 genai_config.json 的search块：

这些值与 README.md 中 Quick Start 指向的 Ryzen AI 官方文档保持一致，按默认值跑通后再微调即可。

七、常见问题排查 🔍

• 报错"roles must alternate"：历史消息里连续出现了两个 user（或两个 assistant），检查拼接逻辑，确保 user/assistant 严格交替（chat_template.jinja L10-L12）。
• 回答在中间突然截断：多半是总输入逼近 4096 上限，或单轮生成触及max_length，压缩历史对话即可。
• 模型复述用户的问题：检查 assistant 历史轮是否遗漏了</s>结束符，模板要求每轮回复后自动补 eos。
• 中文回答质量波动：把temperature调至 0.7~0.8、top_p调至 0.9，通常能得到更连贯的长文。

八、动手：获取模型并跑起第一个多轮对话

1. 准备环境：安装 AMD Ryzen AI 1.8.0 运行时（NPU 4K 上下文版本），模型运行依赖 model.onnx、model.onnx.data 及dd_metastate_*元状态文件；

2. 获取模型文件：

   git clone https://gitcode.com/hf_mirrors/amd/Mistral-7B-Instruct-v0.2_rai_1.8.0_npu_4K

3. 组织提示词：按本文第二~四节的[INST]格式拼接 system（可选）与多轮历史，结尾停在[/INST]后；

4. 开始对话：调用运行时推理接口生成回复，把"用户问题 + 模型回复"追加进历史，进入下一轮循环。

掌握了[INST]/[/INST]配对、<s>开头、</s>收尾这三条核心规律，并守好 4K 上下文这条线，你就能在 Ryzen AI 硬件上稳定地驱动 Mistral-7B-Instruct-v0.2_rai_1.8.0_npu_4K 完成流畅的多轮对话了。祝玩得开心！🚀