💡一句话总结：Muon 省的是「数据」，不一定是「时间」，更不一定是「调参精力」。单卡 A100 实测：等 token 它全胜（20 组配对测试也全赢）；等墙钟时间时视觉大胜、语言反被 AdamW 反超——因为参考实现里 Muon 优化器一步就吃掉 56%~70% 的训练时间；调参预算受限时它的期望损失接近 AdamW 的两倍。换优化器前，先把这三本账算清。
导语：你说服老板换 Muon 的理由，经得起追问吗？
先问一个可能戳到你的问题：如果明天有人拿着「Muon 省 20% 算力」的推文劝你把训练脚本里的 AdamW 换掉，你会怎么回？
这两年 Muon（矩阵优化器，把动量矩阵做近似正交化后再更新）在 LLM 预训练圈子里声势很猛：Kimi 系的 Moonlight、不少大模型实验都报告「单位算力的训练 loss 更低」。听起来像免费午餐——同样的数据，更低的损失，换谁不心动？
但「省」这个词，在训练里至少有三个完全不同的意思：
- 省数据：同样的 token 数，loss 更低；
- 省时间：同样的墙钟时长，loss 更低；
- 省调参：更少的试错次数，找到够好的超参。
这三个排名可以不一致。Muon 每一步都要跑 5 次牛顿-schulz 迭代（一种把矩阵「推向正交」的多轮矩阵乘法），优化器本身就变贵了；它对学习率还更敏感，调参也更费。只报「等数据」曲线的对比，就像只告诉你新车省油、却不说车价和保养——账没算完。
来自卡塔尔哈马德·本·哈利法大学与阿曼苏丹卡布斯大学的团队在 NeurIPS 2026 优化机器学习工作坊（OPT2026）发的这篇论文，就是把这三本账放在同一个严格协议下算了一遍。结论有点反直觉，但对每个正在选优化器的人都值回票价。
想看原文的，资源在这：
📄 论文：arXiv 2610.21555 🧾 收录：NeurIPS 2026 Workshop on Optimization for Machine Learning（OPT2026） 🔧 参考 Muon 原始实现：Keller Jordan 的技术笔记
实验怎么搭的？小模型，但记账方式很讲究
先说清楚实验规模，免得有人拿着结论过度外推：作者用了 4 个负载，全部在单张 A100 上跑。
- 两个语言模型：decoder-only Transformer，上下文 256，吃 FineWeb-Edu 的 1 亿 token 确定性子集——一个 6 层 17.7M 参数（micro），一个 8 层 33.6M 参数（small），各训 5000 步；
- 两个视觉模型：同一个 2.7M 参数的 6 层 ViT（4×4 patch），分别在均衡 CIFAR-100（4.5 万样本）和 100:1 长尾 CIFAR-100（9754 样本）上训 100 个 epoch。
模型不大，但协议设计是这篇论文最值钱的部分。整套流程分三步走：
- 开发期选超参：每个「负载 × 优化器」组合给 23 个候选配置的预算，单种子跑开发集，按「数据归一化的验证损失 AUC（损失曲线下的面积，越低越好，衡量整个训练过程的综合表现）」选出最优配置；
- 全程确认：选中的配置在 5 个固定种子（101–105）上从头跑完，记录等数据和等时间两条验证曲线，并用 CUDA 事件精确测量「优化器这一步」吃了多少时间；
- 冻结测试：在碰官方测试集之前，把所有检查点、评估规则、分析脚本全部冻结，测试只跑一次、不许回头改任何东西——40 个主评估（2 优化器 × 4 负载 × 5 种子）一次性出结果。
第三步值得单独点赞。深度学习圈「先看测试集再调方法」的隐性作弊太常见了，这里用「一次性冻结测试」把后门焊死了。配对种子设计（同种子下两个优化器吃完全相同的数据顺序和初始化）也让对比更干净——差异不会被随机性淹没。
Muon 的参数路由遵循社区参考实现：只管隐层的注意力和前馈投影矩阵（含融合的 QKV），embedding、归一化、偏置和输出头仍交给一个「辅助 AdamW」。这意味着语言模型里其实只有 26.7%~42.2% 的参数走 Muon——记住这个细节，后面有用。
第一本账：等数据，Muon 全胜
先给结论：只要比「谁用更少的 token 达到更低的损失」，Muon 四个负载全赢。
- 语言两个模型：验证损失 AUC 分别降 3.25% 和 4.46%——有优势，但温和；
- 视觉两个模型：降 16.98% 和 22.44%——相当可观；
- 更关键的是稳定性：20 组配对训练轨迹，每一组都在早期就出现 Muon 持续领先 1% 以上的交叉点，无一例外。
而且这不是「验证集上的花活」。冻结测试集上，Muon 在全部 20 个配对种子里都更低：
语言困惑度最多降 32%，视觉准确率最多涨 7.4 个百分点，长尾任务上的最差组准确率也涨了 2 个百分点。四个负载平均的测试损失相对降幅 12.33%。
到这一步，Muon 的基本盘坐实了：同样多的数据，它确实学得更好。如果你的训练瓶颈是「数据量有限、时间不限」（比如数据集就那么大，跑多久无所谓），看到这里就可以考虑换了。
但训练资源紧张的团队，账才刚算到一半。
第二本账：等时间，语言任务翻车了
现在换个比法：两边给同样的墙钟时间，谁能把损失压得更低？
答案是：视觉任务 Muon 大胜（时间归一化 AUC 好 19.7%22.3%），语言任务 AdamW 反超（好 3.4%7.0%）。同一张图 1 里的橙色斜纹柱，语言那两格直接跌到零线以下。
为什么数据上的全胜选手，一到时间维度就在语言任务上输了？作者用 CUDA 事件把优化器这一步的耗时单独掐了出来，账目相当扎眼：
| 负载 | 吞吐比（Muon/AdamW） | AdamW 优化器时间占比 | Muon 优化器时间占比 |
|---|---|---|---|
| 语言 micro | 0.377 | 8.8% | 63.1% |
| 语言 small | 0.468 | 9.1% | 56.1% |
| 视觉 balanced | 0.339 | 7.4% | 69.6% |
| 视觉 long-tail | 0.414 | 6.1% | 63.1% |
看明白了吗？参考实现里，Muon 的优化器调用（含那个辅助 AdamW）占据了整个训练时间的 56%~70%——每一步更新参数之前，要先对一堆矩阵各跑 5 次牛顿-schulz 迭代，全是矩阵乘。于是 Muon 的整体吞吐只剩 AdamW 的 34%~47%。
这就是「break-even」的直觉：同样的墙钟时间里，Muon 处理的数据量只有 AdamW 的一半上下。视觉任务数据效率的增益（17%22%）远大于这个吞吐缺口，所以还是 Muon 赢；语言任务的增益（3%4.5%）盖不住缺口，于是 AdamW 反超。
换句话说：数据优势是真的，但要先付一笔「优化器税」，你的任务增益够不够抵税，得算数。
有个细节值得琢磨：视觉的 ViT 只有 2.7M 参数，其中 2.65M 全是 Muon 能管的矩阵——辅助 AdamW 几乎没事干；语言模型里 Muon 只覆盖不到一半参数，辅助 AdamW 还要给大头的 embedding 和输出头再算一遍。矩阵形状小、数量多时，参考核的利用率也上不去。这些都意味着：这笔税是「参考实现」的属性，不是 Muon 理论的下限。论文自己引用了旁证——8B 模型加张量并行后，MuonBP 的吞吐惩罚小得多、甚至有实现做到了吞吐 +8%。内核优化、减少牛顿-schulz 步数、限制路由范围，都能把税率打下来（后面有数字）。
第三本账：调参预算，Muon 更「挑」
第三本账最少有人算，但对小团队最现实：你的调参预算只有几次，选哪个优化器更稳？
作者把每个优化器的 23 个候选配置随机排序一万次，模拟「只给你前 k 次评测机会」的场景，统计期望的验证 AUC 损失（regret，错过最优配置的代价）：
- 只有 1 次评测机会：Muon 期望 regret 13.66%，AdamW 7.52%——差出近一倍；
- 给到 5 次：1.69% vs 0.42%，Muon 还是更疼；
- 给到 10 次以上：0.67% vs 0.09%，都趋近于零。
直观理解：Muon 的好配置集中在特定的学习率区间里（动量归一化后有效步长和 AdamW 不同量级），随手一抓就抓中的概率更低。如果你只有一两次试验机会（比如租卡按小时计费的小规模验证），AdamW 的下限更稳；一旦预算够做 10 次以上搜索，这个差距基本消失。
顺带一提，图里的 Variance-Muon（在正交化后叠加二阶矩自适应的变体）regret 更大，而且它在这套实验里改善语言和均衡视觉、却在长尾任务上把测试损失推高 11.7%——变体不是免费的，多个机制就多一份调参负担。
那到底什么时候换？给你三张决策卡
把三本账合起来，我觉得这篇论文对实践者最有用的是把「要不要换 Muon」变成了三个具体的判断题：
- 你的瓶颈是数据还是时间？数据贵、时间便宜（小数据集随便跑），Muon 的数据效率直接兑现；时间紧（大模型预训练、按时计费的云资源），先测你实现里的优化器时间占比再说话；
- 你的增益类型是什么？视觉/矩阵参数占比高的架构，增益大、抵税能力强；语言任务增益只有 3%~5%，参考实现下大概率被税吃掉；
- 你的调参预算有多少？只有一两次机会，AdamW 稳；十次以上，Muon 的挑参数属性就不再是障碍。
论文还顺手给了两个「减税」杠杆（单种子审计，数字仅供参考）：牛顿-schulz 从 5 步减到 3 步，省 21.9% 训练时间、AUC 只损 0.74%；只对部分大矩阵路由 Muon，省 28%45% 时间、损失 1.1%2.8%。另外 25% 进度处从 AdamW 切换到 Muon 也能吃到大部分收益——这些工程手段都说明那笔「税」有相当大的压缩空间。
泼冷水时间：这份结论的保质期
照例把不能外推的部分说清楚，作者在论文里也反复强调了：
- 规模：17.7M/33.6M 的语言模型、2.7M 的 ViT，这是玩具级尺寸。大模型上优化器步进的相对成本、矩阵形状对核效率的影响都不同，墙钟结论不能直接搬到你的 7B 训练上；
- 实现：全部结论基于单卡参考核。论文自己引用了 8B + 优化核下吞吐惩罚大幅缩小的反例——「语言等时间 AdamW 赢」的结论，生命周期和参考核一样长；
- 协议残留：超参用单种子选出、开发视界只有全程的 20%、交叉点只能解析到评估检查点粒度，长尾那 26% 的最大效应也只来自一种 100:1 构造。
我的看法是：这篇论文最大的贡献不是告诉你「Muon 好还是 AdamW 好」，而是示范了优化器选型的正确记账方式——等数据、等时间、等调参三条曲线一起看，优化器耗时用 CUDA 事件单独归因，测试集冻结到最后才碰。这套方法搬到你自己的负载上，比任何一篇论文的结论都保值。至于 Muon 阵营，MuonBP、DMuon、AdaMuon、NorMuon 这些优化实现能不能把那笔「优化器税」打穿，让语言任务在等时间维度也翻回来，是接下来一年最值得盯的悬案。
下次再有人甩给你一条「Muon 省 30% 算力」的推文，你可以优雅地反问一句：省的是数据、时间，还是调参？——三本账，缺一不可。
