如何快速上手Qwen3.6-35B-A3B-EXTENSOR:从下载到运行的完整指南
Qwen3.6-35B-A3B-EXTENSOR是基于Qwen/Qwen3.6-35B-A3B构建的EXTENSOR运行时镜像,专注于文本生成功能,不包含视觉和MTP组件。本指南将帮助新手用户快速完成从环境准备到模型运行的全流程操作。
📋 准备工作:了解模型基本信息
模型核心参数
- 文件名:
Qwen3.6-35B-A3B-EXTENSOR-ROCmFP4-v1.extensor.gguf - 文件大小:19,205,345,280 bytes(约19.2GB)
- 量化格式:ROCmFP4
- SHA-256校验值:
66260013d3ec7b880b9d148fc688a2b17f7dafcdadcdc3599738db7302edf896(可在SHA256SUMS文件中验证)
系统要求
- 运行环境:需EXTENSOR 2.0.0及以上版本(不兼容llama.cpp)
- 硬件加速:建议使用支持ROCm的AMD显卡以发挥最佳性能
- 存储空间:至少20GB可用空间(用于存储模型文件)
🔄 下载与验证:确保文件完整性
步骤1:克隆项目仓库
git clone https://gitcode.com/hf_mirrors/amd/Qwen3.6-35B-A3B-EXTENSOR cd Qwen3.6-35B-A3B-EXTENSOR步骤2:验证文件完整性
下载完成后,通过SHA256SUMS文件验证模型文件是否完整:
sha256sum --check SHA256SUMS✅ 验证成功会显示:
Qwen3.6-35B-A3B-EXTENSOR-ROCmFP4-v1.extensor.gguf: OK
🚀 快速启动:运行模型的3种方式
方式1:基础命令行启动
extensor run Qwen3.6-35B-A3B-EXTENSOR-ROCmFP4-v1.extensor.gguf方式2:指定推理参数
extensor run --device rocm --max-tokens 2048 Qwen3.6-35B-A3B-EXTENSOR-ROCmFP4-v1.extensor.gguf--device rocm:启用AMD GPU加速--max-tokens 2048:设置最大生成 tokens 数
方式3:交互模式对话
extensor chat Qwen3.6-35B-A3B-EXTENSOR-ROCmFP4-v1.extensor.gguf启动后可直接输入问题进行交互式对话。
⚠️ 常见问题解决
问题1:提示"EXTENSOR版本不兼容"
解决方法:升级EXTENSOR到2.0.0以上版本
pip install --upgrade extensor问题2:文件校验失败
可能原因:下载过程中文件损坏 解决方法:重新下载模型文件并再次验证
问题3:GPU内存不足
建议:减少批处理大小或使用CPU模式(性能会降低)
extensor run --device cpu Qwen3.6-35B-A3B-EXTENSOR-ROCmFP4-v1.extensor.gguf📄 许可证信息
本项目采用Apache License 2.0开源协议,详细条款见LICENSE文件。使用前请确保遵守上游仓库的使用规范和引用要求。
📚 扩展资源
- 官方文档:可参考EXTENSOR官方文档了解更多高级功能
- 模型来源:基于Qwen/Qwen3.6-35B-A3B的
995ad96e版本构建 - 社区支持:通过项目Issue页面获取技术支持
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考