• 数据集
• 大模型

如果你正想用SFT（监督微调）让小模型学会"先思考、再回答"，那么Fable-5.1-Max-Reasoning-Filtered-10000x是目前值得关注的开源推理蒸馏数据集之一。它包含 1 万条由 Fable 5.1 以最大推理力度（max reasoning effort）生成的多轮智能体编程轨迹，覆盖约 5 亿 token 的逐步思维链（CoT），并已去重、重度过滤，专门用于把大模型的推理能力蒸馏到更小的模型上。本文带你从获取数据到训练要点，一次讲透。

📌 一、这套数据集到底是什么？30 秒看懂核心价值

先给结论：这是一份高质量的 SFT 训练数据，不是模型权重。它的价值在于——你不需要再自己花大力气"出题+人工筛选"，直接拿来就能训。

📖 官方说明见 README.md，其中标注了SFT、CoT、distillation、agent、tool-use等标签，明确了它的定位：把 Fable 5.1 的智能体编码与推理能力蒸馏给更小的 LLM。

内容覆盖三大核心场景：

1. 算法设计、实现与性能优化—— 从写对到写快；
2. 高级调试与错误处理—— 复现报错、定位根因、修复验证；
3. 多步逻辑设计与复杂 Prompt 约束遵循—— 长链路任务不掉链子。

对新手来说，最后一点尤其值钱：模型能学会"在输出最终答案前，先给出清晰的思维链步骤和工具调用"，这正是推理类模型的灵魂。

🚀 二、一键获取数据集：clone + git lfs 两步搞定

仓库里的数据文件较大（单文件超过 500 MB），采用了Git LFS管理，直接 clone 后还需要拉取真实数据。

第 1 步：克隆仓库

git clone https://gitcode.com/hf_mirrors/MoreThought/Fable-5.1-Max-Reasoning-Filtered-10000x cd Fable-5.1-Max-Reasoning-Filtered-10000x

第 2 步：拉取 LFS 真实数据

git lfs install git lfs pull

拉取完成后，你会得到两个核心训练文件：

💡 新手建议：先用 5k 分片把整条训练流水线跑通（格式解析、显存、评估脚本），确认无误后再切换 10k 全量跑正式训练，能省下大量"跑崩了才发现"的调试时间。

🔍 三、数据长什么样？训练前必须建立的 3 个认知

1. 一行一条轨迹（JSONL 格式）：每条记录是一条完整的多轮交互轨迹，内含用户指令、模型思考、工具调用与最终回答，天然适配多轮 SFT。
2. 平均 5 万 tokens/条：单条轨迹就很长，这意味着你的训练配置必须支持长上下文（建议窗口 ≥ 32K~64K），否则数据会被截断，思考链断裂，蒸馏效果大打折扣。
3. "重度过滤"是它的核心竞争力：官方说明中特别强调数据已经过去重和重度过滤（heavily filtered），剔除了低质量轨迹。你拿到的基本是"优等生作业"，直接模仿即可，省去了人工清洗环节。

🎯 四、SFT 实操要点：如何把推理能力"灌"给小模型

4.1 基座模型怎么选？

• 推荐3B ~ 8B 参数级别、支持长上下文的开源基座模型；
• 模型本身已具备一定的指令遵循能力，蒸馏效果会明显好于完全冷启动。

4.2 关键训练参数怎么设？

结合数据"平均 5 万 tokens/条"的特点，几个要点：

• 上下文长度：设为 32K 起步，条件允许直接拉到 64K；
• 学习率：SFT 场景用小学习率（1e-5 量级），避免"学新忘旧"；
• 训练轮数：1 ~ 3 个 epoch，数据本身质量高，多训反而容易过拟合、把输出"背"死；
• 数据格式对齐：确认框架的多轮对话模板（chat template）与你基座模型一致，尤其是思考内容与工具调用的字段位置，对齐错误是蒸馏最常见的翻车点。

4.3 训练策略：先 5k 验证，再 10k 全量

# 第 1 阶段：用 5k 分片跑通全流程（约 565 MB） # 第 2 阶段：切换 10k 全量（约 1.97 GB）做正式 SFT

两阶段对照同一条评估管线，就能清楚看到"数据量翻倍带来的边际收益"，也方便你决定要不要继续追加训练。

✅ 五、效果评估与常见坑

看什么指标？

• 编码基准：跑通用 coding 评测集，对比训练前后得分；
• 思维链质量：抽查模型的中间推理是否"分步骤、可解释"，而不是直接甩答案；
• 工具使用：观察模型是否能在给出最终答案之前先规划并调用工具——这是本数据集刻意训练的标志性能力。

常见坑清单：

• ⚠️上下文窗口太短→ 轨迹被截断，思考链不完整，模型学不会完整推理；
• ⚠️模板不对齐→ 多轮角色、思考块位置错位，训练时"看着在学，实际在乱学"；
• ⚠️epoch 过多→ 小数据高质量场景下过拟合明显，输出变得死板重复；
• ⚠️忘记git lfs pull→ 拿到的是几百字节的指针文件而非真实数据。

📝 六、写在最后

Fable-5.1-Max-Reasoning-Filtered-10000x的定位非常清晰：一份"免清洗"的推理蒸馏数据。1 万条多轮智能体轨迹、5 亿 tokens 思维链、Apache-2.0 许可，配合"5k 验证 + 10k 全量"的两阶段打法，新手也能比较平滑地走通小模型 SFT 的完整流程。

如果你的目标就是让小模型学会深度推理、清晰思考与规范地调用工具，这套数据值得直接上手一试。

• 数据集
• 大模型