Qwen3.5-397B-A17B-singprobe 是一款基于 Qwen3.5-397B-A17B 大模型的内嵌式流式安全护栏（SingProbe）：仅用约 800 万参数（8.13M），就能在生成过程中逐 token 实时完成大模型安全检测——同时评估查询意图、回复不安全度与幻觉检测风险，解码开销低于 0.5%，无需再部署一个独立的安全模型。

一、SingProbe 是什么？为什么说是"颠覆性"方案？🤔

传统做法是在大模型旁边外挂一个独立安全分类器：先等回复生成完，再送去审查，延迟高、成本高。

SingProbe 的思路完全不同——它直接"长"在基座模型内部：

• 🎯复用隐层状态：从第18 / 38 / 58 层抽取隐藏状态（hidden states）
• ⚡逐 token 打分：每生成一个 token，就实时输出 10 个分数（label_0–label_9），涵盖8 类查询意图 + 不安全 + 幻觉三类信号
• 🪶极轻量：探针仅 8.13M 参数，相对 397B 基座几乎可以忽略不计，解码开销< 0.5%

简单说：安全护栏不再是"事后审查"，而是"边生成、边体检"。

二、核心能力：一次生成，三重防护 🛡️

三项能力共享同一个探针，一次前向全部拿到，这是它在流式安全场景下最大的工程价值。

三、性能实测：对比主流安全模型的完整数据 📊

以下是官方评测数据（分数越高越好），覆盖 6 + 8 + 3 + 6 共 23 个基准套件：

再看两个决定"能不能上生产"的关键指标：

8M 参数的探针，各项指标全面超过 8B 级独立安全模型，这就是"以小博大"的含金量。

四、最快部署方法：一条命令启用流式安全护栏 🚀

SingProbe 已适配 SGLang 与 vLLM 的集成分支，启动服务时通过--probe-ckpt参数加载探针即可：

python -m sglang.launch_server \ --model-path Qwen/Qwen3.5-397B-A17B \ --probe-ckpt inclusionAI/Qwen3.5-397B-A17B-singprobe \ --port 30000

⚠️两个注意事项：

1. 必须使用精确的基座 + 探针配对：Qwen/Qwen3.5-397B-A17B搭配本检查点，不可混用其他版本
2. 集成版本会为每个生成 token 返回一个分数字典（label_0–label_9），业务侧可按阈值自行配置拦截策略

五、仓库文件结构速览 📁

整个仓库只有 5 个文件，结构非常干净：

可以看到探针就是一个小型注意力模型：8 个注意力头、64 维头宽，配合 2048 长度的滑动窗口注意力（见 modeling_sing_probe.py），这正是它能兼顾长文本上下文又保持极低开销的关键设计。

六、常见问题 FAQ ❓

Q：可以搭配任意基座模型使用吗？A：不行。探针是在Qwen3.5-397B-A17B的隐层特征上训练的，必须与该基座精确配对。

Q：会增加多少延迟？A：解码开销低于 0.5%，对流式对话场景基本无感。

Q：正常回复会不会被误杀？A：5 个数据集平均误报率仅 0.03%，误报极低。

Q：vLLM 用户支持吗？A：支持，vLLM 同样提供了对应的 token-probe 集成分支，加载方式与 SGLang 一致。

总结 🏁

Qwen3.5-397B-A17B-singprobe 用800 万参数重新定义了大模型安全护栏的形态：

• ✅ 不额外部署安全模型，复用基座隐层状态
• ✅ 逐 token 流式检测，意图 / 不安全 / 幻觉一次全拿到
• ✅ 性能全面超越 8B 级独立安全模型，误报率 0.03%
• ✅ 解码开销 < 0.5%，一条命令即可接入 SGLang / vLLM

如果你正在为大模型的安全护栏部署和幻觉检测发愁，这套"轻量内嵌式"方案值得放进你的技术清单。