Llama-3.2-3B_rai_1.8.0_npu_16K是 AMD 官方面向AMD Ryzen AI（锐龙 AI）NPU 端侧部署优化的 Llama 3.2 3B 大模型推理包。它基于 Quark 量化、OGA Model Builder 构建，并完成 NPU 后处理，支持16K（16384）Token Fusion 上下文，让 30 亿参数的大语言模型（LLM）直接在笔记本本地跑起来，无需依赖云端 GPU。

如果你想在锐龙 AI PC 上体验"离线 + 低耗"的本地大模型推理，这份指南带你把这个模型包从原理、文件结构到部署参数一次讲透。

一、项目概览：它到底是什么？

简单说，这是一个开箱即用的端侧推理模型包，而不是需要你自己训练或量化的原始权重。它经历了三个阶段：

1. 量化阶段：使用 Quark 量化框架（AWQ 算法）完成权重压缩；
2. 构建阶段：通过 OGA Model Builder 生成 ONNX 推理图；
3. 部署优化阶段：针对 Ryzen AI NPU 完成后处理，实现 Token Fusion 16K 上下文支持。

📌 源模型为 Meta 发布的 Llama-3.2-3B，AMD 对其原始模型文件做了面向 Ryzen AI 硬件的优化改造。详见 README.md。

二、模型架构与量化策略：3B 模型如何做到端侧落地

2.1 架构参数一览

从 config.json 可以读出核心架构信息：

其中GQA（分组查询注意力）是端侧部署的关键：24 个查询头共享 8 组 KV 缓存，使 KV Cache 内存显著缩小——这正是模型能塞进 NPU 有限内存的原因之一。

2.2 AWQ + UINT4 量化：内存减半的关键

README 中明确列出了量化策略：

AWQ / Group 128 / Asymmetric / BFP16 activations / UINT4 Weights

用大白话翻译：

• AWQ：按权重重要度分组缩放，量化后精度损失极小；
• Group 128：每 128 个权重共享一组缩放系数，平衡精度与体积；
• UINT4 Weights：权重压缩到 4 位无符号整数，体积约为 BF16 原始权重的 1/4；
• BFP16 激活：激活值保持 16 位精度，保证推理稳定性。

量化细节完整记录在 config.json 的quantization_config字段中（quant_method: quark、dtype: uint4、group_size: 128）。

三、核心文件详解：模型包里都有什么

两个值得留意的细节：

• dd_metastate_*文件：这些是 NPU 预编译的动态描述元数据，覆盖attention_mask的 256、512、1024、2048、3072、4096、16384 等多种填充长度。好处是不同序列长度下无需重新编译 NPU 图，首次推理更快。
• Git LFS 指针：模型权重文件在仓库中以 Git LFS 指针形式存储（约 100+ 字节的占位文件），克隆后需 LFS 自动拉取真实二进制数据。

四、快速部署：三步在 Ryzen AI 上跑起来

4.1 第一步：环境检查

• 硬件：搭载AMD Ryzen AI处理器的设备（内置 XDNA NPU）；
• 软件：安装对应版本的RAI（Ryzen AI）SDK，本项目名称中的1.8.0即对应 RAI 1.8.0；
• 运行时：ONNX Runtime GenAI（NPU 混合推理依赖 RyzenAI 执行提供程序）。

4.2 第二步：获取模型包

git clone https://gitcode.com/hf_mirrors/amd/Llama-3.2-3B_rai_1.8.0_npu_16K

⚠️ 模型总大小约 2.5 GB（含 LFS 大文件），请预留足够磁盘空间并确认已安装git-lfs。

4.3 第三步：理解混合（Hybrid）推理模式

本模型默认走NPU + CPU 混合推理路径，genai_config.json 中的关键配置为：

"RyzenAI": { "hybrid_opt_token_backend": "npu", "hybrid_opt_max_seq_length": "4096", "external_data_file": "model.pb.bin" }

含义是：Token 级推理后端由NPU 承担（token_backend: npu），长序列预填充由 CPU 辅助分块完成，从而兼顾速度与内存上限。官方 Quick Start 的完整示例请参考 AMD Ryzen AI 官方文档中的 Hybrid OGA 章节。

五、关键参数解读：生成行为如何被"调好味"

genai_config.json 的search部分内置了一组推荐的采样参数，开箱即用：

而 rai_config.json 则规定了不同 SDK 版本允许的最大 Prompt 长度：

💡 建议升级 SDK 时同步核对这张表，避免超长 Prompt 被截断。

六、常见坑位与 FAQ

Q1：为什么我看到的 model.bin 只有 100 多字节？这是 Git LFS 指针文件，并非权重本体。执行git lfs pull后会下载约 1.7 GB 的真实文件。

Q2：NPU 和纯 CPU 推理差多少？NPU 负责 Token 解码阶段，功耗和速度都优于 CPU；预填充（Prompt 处理）阶段走 CPU 分块路径。混合模式是当前的最佳实践，无需手动切换。

Q3：真的支持 16K 上下文吗？模型结构层面通过 RoPE 扩展支持 131072 位置，但本部署包针对16384（16K）做了 Token Fusion 后处理，日常使用中 16K 是设计目标上下文。

Q4：输出重复或跑题怎么办？尝试调低temperature（如 0.3~0.5）或收紧top_p（如 0.8），参数入口在 genai_config.json。

七、许可证与合规说明

• AMD 的修改部分采用MIT License（见 LICENSE.txt）；
• 底层模型遵循Llama 3.2 社区许可与可接受使用政策（Acceptable Use Policy，全文见 USE_POLICY.md），商用前请确认合规义务；
• 第三方组件许可信息见 AMD Ryzen AI 模型的 TPN 许可协议（README 中有说明）。

八、总结

一句话概括：Llama-3.2-3B_rai_1.8.0_npu_16K 让"端侧 3B 大模型"从口号变成了配置文件级别的开箱即用体验。只要你的设备搭载锐龙 AI NPU，按照本文三步走，就能在本地低耗地享受大模型能力。