几个月前Qwen3.6刚放出来的时候用 vLLM 先后部署了两个 Qwen3.6 系列的 FP8 模型:
•Qwen3.6-27B-FP8•Qwen3.6-35B-A3B-FP8
模型推理本身一切顺利,真正的坑全在Agent 工具调用(tool call)上。折腾了一圈之后,问题主要集中在两处,总结成这篇文章,希望对同样想在本地跑 Qwen、再接 Claude Code / Codex 这类 Agent CLI 的同学有帮助。
结论先行:
1.vLLM 的--tool-call-parser参数,不要用qwen3_xml,直接换成qwen3_coder;2.Qwen 默认的 chat template(jinja 模板)不支持developerrole,Codex 会一直报错。直接换用社区修复版模板 froggeric/Qwen-Fixed-Chat-Templates[1] 即可。
这套方案在 Qwen3.6 上踩坑验证,对当前的Qwen3.8-27B同样适用——坑的成因和修法完全一致,配置原样照抄即可。
坑一:--tool-call-parser
选错格式,Agent 客户端集体翻车
现象
一开始给 vLLM 配置的是:
--tool-call-parser qwen3_xml结果接上各个客户端一测,表现并不一致:Hermes 工具调用正常,Claude Code 和 Codex 都调不通。
排查与解决
工具调用能不能调通,取决于模型实际输出的工具调用文本格式,和 vLLM 所配解析器(parser)期望的格式是否对得上。Qwen 家族不同代际/分支的模型,工具调用的输出格式并不相同,选错 parser 就会出现"模型明明输出了工具调用,服务端却解析不出来"的情况。
后来一个偶然的机会,我把 parser 换成了qwen3_coder,效果立竿见影:
| 客户端 | qwen3_xml | qwen3_coder |
|---|---|---|
| Hermes | ✅ | ✅ |
| Claude Code | ❌ | ✅ 调通 |
| Codex | ❌ | ❌ 仍报错 |
Claude Code 好了,但 Codex 还差一口气。于是有了坑二。
坑二:默认 jinja 模板不支持developerrole
现象与原因
parser 换成qwen3_coder之后,Codex 依旧报错。仔细一查才发现根本原因不在 parser,而在chat template:Codex 发送的对话里会携带developerrole 的消息,而 Qwen 默认的 jinja chat template 根本不认识这个 role,模板渲染阶段就直接出错了。
也就是说,这是两层不同的问题:
坑一出在"输出侧"——模型输出的工具调用格式与 parser 不匹配; 坑二出在"输入侧"——客户端发来的消息 role,模板不认识。
两层都对了,Agent 才能正常工作。
解决过程
当时的第一反应,是直接让 Claude Code 帮我现写一个支持developerrole 的 jinja 模板——用 AI 给 AI 的部署环境打补丁,还真就一次解决了,Codex 顺利调通。
不过自己维护一份魔改模板终究不是长久之计。后来在浏览 Hugging Face 时,无意间发现了 froggeric/Qwen-Fixed-Chat-Templates[2] 这个仓库——它专门修复 Qwen 官方 chat template 的各种已知问题,其中就包括developerrole 的支持。
直接下载仓库中的 chat_template.jinja[3],替换掉 vLLM 配置里的 chat template 文件即可。从此不需要自己维护模板,跟着上游更新走就行。
最终可用配置
两个坑填平之后,关键配置就是两项(其余参数按需自行添加):
vllm serve /path/to/Qwen3.6-35B-A3B-FP8 \ --tool-call-parser qwen3_coder \ --chat-template /path/to/chat_template.jinja在Qwen3.6-27B-FP8和Qwen3.6-35B-A3B-FP8两个模型上均验证可用;换到当前的Qwen3.8-27B,同样的两个参数即可,无需任何改动。
2026年AI行业最大的机会,毫无疑问就在应用层!
字节跳动已有7个团队全速布局Agent
大模型岗位暴增69%,年薪破百万!
腾讯、京东、百度开放招聘技术岗,80%与AI相关……
如今,超过60%的企业都在推进AI产品落地,而真正能交付项目的大模型应用开发工程师**,**却极度稀缺!
落地AI应用绝对不是写几个prompt,调几个API就能搞定的,企业真正需要的,是能搞定这三项核心能力的人:
✅RAG:融入外部信息,修正模型输出,给模型装靠谱大脑
✅Agent智能体:让AI自主干活,通过工具调用(Tools)环境交互,多步推理完成复杂任务。比如做智能客服等等……
✅微调:针对特定任务优化,让模型适配业务
目前,脉脉上有超过1000家企业发布大模型相关岗位,人工智能岗平均月薪7.8w!实习生日薪高达4000!远超其他行业收入水平!
技术的稀缺性,才是你「值钱」的关键!
具备AI能力的程序员,比传统开发高出不止一截!有的人早就转行AI方向,拿到百万年薪!👇🏻👇🏻
AI浪潮,正在重构程序员的核心竞争力!现在入场,仍是最佳时机!
我把大模型的学习全流程已经整理📚好了!抓住AI时代风口,轻松解锁职业新可能,希望大家都能把握机遇,实现薪资/职业跃迁~
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
⭐️从大模型微调到AI Agent智能体搭建
剖析AI技术的应用场景,用实战经验落地AI技术。从GPT到最火的开源模型,让你从容面对AI技术革新!
大模型微调
掌握主流大模型(如DeepSeek、Qwen等)的微调技术,针对特定场景优化模型性能。
学习如何利用领域数据(如制造、医药、金融等)进行模型定制,提升任务准确性和效率。
RAG应用开发
- 深入理解检索增强生成(Retrieval-Augmented Generation, RAG)技术,构建高效的知识检索与生成系统。
- 应用于垂类场景(如法律文档分析、医疗诊断辅助、金融报告生成等),实现精准信息提取与内容生成。
AI Agent智能体搭建
- 学习如何设计和开发AI Agent,实现多任务协同、自主决策和复杂问题解决。
- 构建垂类场景下的智能助手(如制造业中的设备故障诊断Agent、金融领域的投资分析Agent等)。
如果你也有以下诉求:
快速链接产品/业务团队,参与前沿项目
构建技术壁垒,从竞争者中脱颖而出
避开35岁裁员危险期,顺利拿下高薪岗
迭代技术水平,延长未来20年的新职业发展!
……
那这节课你一定要来听!
因为,留给普通程序员的时间真的不多了!
立即扫码,即可免费预约
「AI技术原理 + 实战应用 + 职业发展」
「大模型应用开发实战公开课」
👇👇
👍🏻还有靠谱的内推机会+直聘权益!!
完课后赠送:大模型应用案例集、AI商业落地白皮书