- 人工智能
- 模型量化
- 本地部署
- 多模态
- 大模型
【免费下载链接】d1a-e2b-it-qat-4bit
d1a-e2b-it-qat-4bit 是 D1A 决策模型的 4-bit 量化新版本：基于 QAT（量化感知训练）权重、面向 Apple Silicon 的 MLX 构建。官方宣布它以 11% 的推理提速取代 D1A-E2B-it v0.6，却在 transfer-v4 场景下滑 5.2 分——哪些场景该换、哪些该留，3 分钟看懂。
两个版本分别是什么？一张表看懂
D1A 是一个"决策模型"：给它一段文本（或图片、语音、视频）加几个问题，它在一次前向计算中为每个选项输出校准后的概率，不生成任何自由文本，因此每个答案都保证是合法选项。
| 维度 | D1A-E2B-it v0.6（旧版） | d1a-e2b-it-qat-4bit（新版） |
|---|---|---|
| 基座权重 | Gemma 4 E2B-it（bf16） | Gemma 4 E2B-it QAT（int4 量化感知训练） |
| 体积 | 较大（bf16 权重） | 2.7 GB 主干 + 1.0 GB 视觉/音频编码器 |
| 决策速度 | 基准 | 快 11%（延迟比 0.89） |
| 聊天能力 | 无 | 有（关闭 adapter 即为原版 Gemma 4 E2B-it QAT） |
| 多模态（图/音/视频） | 支持 | 支持，14/14 演示请求全部回答，p50 1.6 s |
| 官方定位 | 旧版默认 | 2026-10-25 起官方推荐版本 |
量化细节可在 config.json 中确认：276 个 int4 线性层均为 4-bit、group_size 32 的 affine 量化，且逐位与 Google 官方 QAT 检查点一致——反量化误差为 0，不是从 bf16 二次量化而来。
性能对比：11% 提速从何而来
官方在 Apple M1 Max 上、以 22 个评测套件（17,418 个问题）对比两版"实际服务状态"，结果如下（Δ 为分数点，括号内为 95% 配对置信区间）：
| 场景 | 4-bit QAT 版 vs v0.6 | 是否显著 |
|---|---|---|
| 总体（22 套件汇总） | +0.40 [−0.21, +1.02] | 不显著 |
| PR severity（较新 PR） | +3.5[+1.4, +5.7] | ✅ 显著胜出 |
| PR labels | +1.7[+0.4, +2.9] | ✅ 显著胜出 |
| hard-v1（困难决策） | +2.2 [−0.1, +4.5] | 趋势向好 |
| transfer-v4（训练外任务） | −5.2[−7.9, −2.6] | ⚠️显著变差 |
速度方面，单次决策延迟比 0.89，即每个决策快 11%——这来自 4-bit 权重在 Apple Silicon 上的天然优势。
校准（概率的可靠性）整体更好：校准温度 1.55（见 d1a_config.json）将期望校准误差 ECE 从 0.064 降到 0.018；但在个别套件上校准变差（PR labels 的 ECE 0.019 → 0.038，transfer-v4 0.057 → 0.124）。多模态侧，28 个答案中 25 个与 v0.6（8-bit）一致，3 处差异全部出现在语音片段上。
为什么 4-bit 版反而更强：QAT 重训是关键
直接"换权重"其实会掉分。旧版 v0.6 的 adapter 若原样搬到 QAT 主干上（不重训），成绩是：
| 套件 | v0.6 adapter + bf16 主干（发布版） | v0.6 adapter + QAT 主干（未重训） |
|---|---|---|
| hard-v1 | 0.689 | 0.669 |
| devtools-v1 | 0.709 | 0.683 |
| documents-v1 | 0.862 | 0.857 |
原因：QAT 权重与 bf16 权重并不相同（余弦相似度 0.992），还有 9.6% 的"明确答案"会发生翻转。所以官方在新 QAT 主干上重训了 D1A adapter（LoRA rank 16，约 97 MB，见 adapter/adapter_config.json），配方沿用 v0.6：23,427 条记录、11 个数据源、主干冻结、学习率 2e-5、共 2,929 步，在 M1 Max 上训练 12.5 小时。
重训单独贡献了多少？对比"同一 QAT 主干上的 v0.6 adapter"：总体+2.13 [+1.36, +2.89]，8 项显著胜出、0 项显著变差。也就是说——4-bit 版的优势主要来自重训，而 transfer-v4 的下降则来自 4-bit 主干本身（重训只影响 −0.2）。
这些场景仍要固定 D1A-E2B-it v0.6 ⚠️
按 D1A 的发布规则，transfer-v4 的 −5.2 本应一票否决这次替换；最终是作者以"例外"方式发布（D1A 自有任务权重更高）。因此以下场景建议固定d1a-e2b-it@v0.6：
- transfer-v4 类任务：模型从未训练过的任务类型，整体 −5.2 分；
- blast-radius（影响面评估）：线上标签回放中准确率 64.3 → 59.2；
- 规则组合型留出问题：transfer-v4 内部的重训弱点，4 次修复对 13 次破坏（符号检验 p=0.049）；
- 其他远离 D1A 自有任务分布的自定义任务。
一句话原则：D1A 自己的活（PR 打标、路由、困难决策、聊天、多模态）→ 用新版；训练分布外的任务 → 固定 v0.6。
快速上手：一条命令启动 4-bit 决策服务
在支持 MLX 的 Apple Silicon 机器上，安装 d1a 运行时（需要其服务化分支）后启动：
python -m d1a.serving.serve --run mlx-community/d1a-e2b-it-qat-4bit --port 8009服务启动后提供三类能力：
| 端点 | 用途 |
|---|---|
/v1/systemone | 文本决策：传入状态 + 若干问题（是否题/选择题/打分题），返回每个选项的校准概率 |
/v1/systemone/media | 照片（JPEG/PNG/WebP）、语音（≤30 s）、视频（≤32 MB）决策 |
/v1/chat/completions | 聊天：OpenAI 兼容格式、支持流式（此时自动关闭决策 adapter） |
例如官方示例：传入"鞋子迟到两周且尺码不对，卡上还看到两笔扣款"，模型会给出returns / shipping / billing三个团队的概率分布并命中support（0.67），单次约 109 ms。
版本选择建议：三步判断法
- 你的任务在 D1A 自有分布内吗？（PR 标签、路由、困难决策、客服分派）→ 是：升级 d1a-e2b-it-qat-4bit，白得 11% 提速 + 聊天能力 + 更小的体积；
- 你的任务是训练集之外的类型吗？（transfer-v4、blast-radius 或自造任务）→ 是：固定 v0.6，避免 −5.2 分的显著退化；
- 检查使用限制：问题必须是英文（文档可英/日）；自行编码请求的应用需在开头补
<bos>（leading_ids 为 2）；整个模型仍属实验性质。
相关配置文件速查：量化参数 config.json、决策头与校准温度 d1a_config.json、视觉/音频编码器 media/config.json、权重索引 model.safetensors.index.json。
总结：d1a-e2b-it-qat-4bit 用 4-bit QAT 权重 + 重训 adapter，在 D1A 自有任务上全面不输甚至更强，还更快、更小、能聊天；但它对"训练外任务"的 −5.2 分退化是真实的。把它当作 D1A 主力，给 v0.6 留一个"训练外任务专用"的位置，就是当前最优的版本组合。
- 人工智能
- 模型量化
- 本地部署
- 多模态
- 大模型
【免费下载链接】d1a-e2b-it-qat-4bit
相关推荐
该选哪款D1A？d1a-e2b-it-8bit对比E2B v0.6与E4B v0.6：severity差4.3分背后的取舍
该选哪款D1A？d1a e2b it 8bit对比E2B v0.6与E4B v0.6：severity差4.3分背后的取舍 D1A 是面向 Apple Sili
人工智能大模型模型量化本地部署NLPd1a-e2b-it-qat-4bit配置字段速查手册：config.json、d1a_config.json与adapter_config.json详解
d1a e2b it qat 4bit配置字段速查手册：config.json、d1a_config.json与adapter_config.json详解 d1
人工智能模型量化本地部署多模态大模型透过d1a-e2b-it-qat-4bit看懂Gemma 4 E2B架构：滑动注意力、131K上下文与双量化策略
透过d1a e2b it qat 4bit看懂Gemma 4 E2B架构：滑动注意力、131K上下文与双量化策略 想真正读懂 Gemma 4 E2B 的架构设计
人工智能模型量化本地部署多模态大模型
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
