【免费下载链接】DataArc-SynData-ToolkitSynthetic Data Generation Platform By DataArcTech项目地址https://gitcode.com/gh_mirrors/da/DataArc-SynData-Toolkit点击查看免费下载使用 DataArc SynData Toolkit 合成数据时样本量大、API 响应慢单线程跑完一批数据往往要等很久更糟的是中途一旦报错或中断只能从头再生成、Token 全部重花。本文面向刚上手的用户讲透这个开源合成数据工具集里的两大进阶机制并行处理和断点续跑——前者让合成数据的时间缩短数倍后者让中断后的任务自动接力Token 只花一次。先看懂全流程一个配置文件驱动的数据合成管线DataArc SynData Toolkit 由一个 YAML 配置文件驱动样例configs/sdg.yaml数据可来自本地语料解析、HuggingFace 爬取或教师模型蒸馏再经过筛选、改写、评估与翻译最终导出可直接训练的 JSONL 数据集。本文聚焦其中最影响效率与成本的两个环节批量生成阶段的速度与中途失败后的恢复。本地还没有代码克隆仓库git clone https://gitcode.com/gh_mirrors/da/DataArc-SynData-Toolkit环境依赖详见 docs/DEPENDENCIES_zh.md。并行处理把 n_workers 调大生成时间成倍缩短串行逐条调用大模型是合成数据最耗时的环节。DataArc SynData Toolkit 用一个全局参数开启并行核心实现在 sdgsystem/parallel.py 的ParallelExecutor线程池并发调度n_workers: 4 # 并行工作线程数默认 1 即串行工作机制可以这样理解整批任务被拆成一个个批次batch_size控制批大小n_workers个 worker 同时向模型发起请求每个批次完成后结果按原始顺序归位输出数据集的顺序与串行完全一致sdgsystem/models/usage_counter.py 的ModelUsageCounter实时统计 token 与墙钟耗时并按平均值预估剩余 Token 与剩余时间——跑一半就能算清这次合成还会花多少钱。也就是说提速靠n_workers预算可控靠内置的用量预估日志。断点续跑buffer 目录自动存档中断后重跑不重花 Token并行解决快断点续跑解决省。合成数据过程中每个阶段都会在本地buffer/目录维护中间结果由 sdgsystem/buffer.py 的TaskBuffer负责。例如本地合成任务的缓冲区按阶段命名buffer/Text-Local-Generation/生成、buffer/Text-Local-Validation/校验。TaskBuffer默认每完成 4 个样本save_step就把进度写盘usage.json总样本数、已完成数、token 累计消耗、耗时、每条样本的完成状态result.json已完成样本的中间结果。中断后重新执行同一条命令uv run sdg generate configs/sdg.yaml时TaskBuffer.load会先读盘已完成的样本直接标记为跳过worker 只处理剩余样本token 计数也接着上次的累计值继续——所以Token 不重复花进度条从断点继续走剩余 Token / 时间预估依然准确只有当整个流程全部成功后sdgsystem/pipeline.py 才会自动清空buffer/目录保持工作区干净。进阶配置让并行与续跑更省心的 4 个参数参数位置说明与调优建议n_workers全局配置configs/sdg.yaml默认 1。建议从 4 起步逐步上调注意 API 限流窗口task.batch_sizetask配置节每条流水线的批处理大小决定 buffer 的最小工作粒度timeoutsdgsystem/parallel.py单批处理超时默认 300 秒文档长 / 模型慢可适当调大save_stepsdgsystem/buffer.py默认每完成 4 个样本落盘一次中断频繁的场景可调小 小贴士想体验完整工作流生成→训练→评估可参考使用场景文档 docs/USE_CASES_zh.md 与示例数据集 examples/mathematics/gsm8k_demo.jsonl。常见问题速答Q1任务中断后重跑会重新生成已完成的部分吗不会。buffer/里存着已完成样本的结果与逐条完成状态重跑自动跳过token 消耗不翻倍进度直接续接。Q2改了配置再重跑断点还有效吗续跑针对同一任务。注意输入样本总数不能小于 buffer 中已有结果数否则会报错提醒见 sdgsystem/parallel.py 中的校验逻辑。Q3最多可能白跑多少进度每次落盘之间最多save_step - 1个样本若恰好断电这部分进度会在下次续跑时重新生成。中断风险高的场景把save_step调小即可。Q4可视化界面WebUI也支持吗支持。WebUI 的生成任务底层是同一套并行 断点续跑机制进度通过 SSE 实时推送到界面任务中断后同样可以续跑。总结快且只花一次并行处理n_workers调大 → 合成数据时间缩短数倍日志自带剩余 Token / 时间预估断点续跑buffer/自动存档 → 中断重跑只处理剩余样本Token 只花一次成功后自动清理。两条机制配合使用批量合成数据从此既快又省。赞分享【免费下载链接】DataArc-SynData-ToolkitSynthetic Data Generation Platform By DataArcTech项目地址https://gitcode.com/gh_mirrors/da/DataArc-SynData-Toolkit点击查看免费下载相关推荐DataJuicer 分区处理与断点续跑实战指南ray_partitioned 执行器的容错数据处理方案DataJuicer 分区处理与断点续跑实战指南ray_partitioned 执行器的容错数据处理方案 本篇指南系统讲解 DataJuicer 的容错数据处人工智能大模型数据工程数据清洗数据增强数据质检TPOT进阶技巧warm_start断点续跑、early_stop早停与periodic_checkpoint检查点实用配置TPOT进阶技巧warm_start断点续跑、early_stop早停与periodic_checkpoint检查点实用配置 TPOT 是一个用 Python人工智能AutoML机器学习数据科学大模型合成数据终极指南一文读懂一站式数据生成平台DataArc SynData Toolkit大模型合成数据终极指南一文读懂一站式数据生成平台DataArc SynData Toolkit DataArc SynData Toolkit 是由 Data创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考