这篇综述围绕 Muon(MomentUm Orthogonalized by Newton-Schulz)优化器展开,Muon 属于矩阵感知谱优化器,核心是把二维权重梯度动量矩阵做极分解正交化(Newton-Schulz 迭代),抹平奇异值差异,让梯度各个方向更新强度均衡,区别于 Adam 逐元素归一化;综述汇总原始 Muon、LiMuon、NorMuon、MuonEq、Dion2、Aurora 等主流变体,从几何视角统一解释不同变体的改造思路:有的优化正交化前的矩阵预处理、有的修改谱变换函数、有的降低计算开销适配分布式大模型,同时分析收敛条件、非凸风险、超参数迁移规律,对比 Muon 与 Shampoo、SOAP、AdamW 在 LLM 预训练场景下的样本效率、显存开销、通信成本,指出 Muon 优势集中在二维线性权重,对卷积、高维张量原生支持弱,很多变体是在收敛稳定性、计算量、泛化能力之间做取舍。
Muon 核心原理
原始 Muon:维护动量矩阵 M,用 Newton-Schulz 迭代求极因子 UVᵀ(丢弃奇异值 Σ),也就是矩阵正交重塑,把动量梯度矩阵变成近似半正交矩阵;本质是谱范数约束下的最速下降,放大那些原本被大奇异方向压制、很重要的微小梯度方向,提升样本效率,优化器仅需 1 份动量缓存,显存占用低于 AdamW(Adam 需要一阶、二阶两个缓存)。
Muon 主流变体清单
| 变体 | 改造点 | 收益 | 短板 |
|---|---|---|---|
| 原始 Muon | 基础 NS 正交化,直接对动量矩阵求极因子 | 实现简单,小模型(NanoGPT)收敛快 | 矩形权重、高维张量稳定性差,条件数敏感 |
| LiMuon | 动量方差缩减 + 随机 SVD | 降低样本复杂度,理论收敛边界更好 | 增加 SVD 开销 |
| NorMuon | 行级自适应归一化,控制行范方差 | 缓解神经元 “死亡”,矩形矩阵训练更稳 | 改动原生谱几何,偏离 Muon 原始理论 |
| MuonEq | 正交化前做矩阵均衡预处理 | 减少奇异值极端悬殊,训练波动变小 | 需要额外均衡步骤 |
| Dion2 | 随机行列采样缩减正交矩阵规模 | 分布式训练通信、算力下降,可扩展到大模型 | 采样会引入噪声,需要调采样率 |
| Aurora | 保留极因子精度的同时约束行范分布 | 兼顾原始 Muon 几何和更新方差控制 | 实现复杂度更高 |
| MuonAll | 面向大模型微调专用适配 | 微调场景优于原版 | 预训练场景提升有限 |
经典优化器横向对比
| 优化器 | 归一化方式 | 状态缓存 | 适合场景 |
|---|---|---|---|
| AdamW | 逐元素二阶 RMS 归一化 | 双缓存 | 通用、混合层、CNN、小模型 |
| Shampoo | Kronecker 预条件白化 | 高开销预条件矩阵 | 大模型,算力充足场景 |
| Muon 系列 | 动量矩阵正交重塑(极分解) | 单缓存 | Transformer 二维线性权重(QKV、FFN) |
综述给出的落地规则
✅ 优先使用场景:Transformer 预训练,QKV、MLP 这类二维权重,追求样本效率、显存节约
✅ 变体选型建议:单机小规模实验用原版 Muon;矩形权重、容易出现梯度失衡选 NorMuon;多机分布式训练优先 Dion2;微调任务尝试 MuonAll
❌ 不适合:卷积核等高维张量参数、极小 batch、噪声极强的数据;Muon 不会自动优于 AdamW,属于结构专用优化器
开放研究挑战
- 高维张量的通用矩阵几何重塑方案(当前 Muon 需要先把张量展开为 2D 矩阵)
- 非凸目标下 Muon 的收敛性证明,部分条件下存在不收敛风险
- 统一超参数缩放律,让 Muon 超参数可以像 μP 一样跨模型尺寸迁移
- 混合优化策略:Muon+Adam 混合调度,不同层自适应选择优化器
【相关 FAQ】
问题 1:这篇 Muon 优化器变体综述里,Muon 和 AdamW 最核心区别是什么?
回答 1:Muon 做矩阵几何重塑正交化,把整个权重动量矩阵的奇异值抹平、各个方向更新力度均衡;AdamW 是逐元素单独做二阶归一化,不考虑权重矩阵的整体谱结构。Muon 只需要 1 份动量缓存,显存更省,但只在二维线性权重上优势明显。
问题 2:Muon 的 Newton-Schulz 迭代在这些变体里作用一样吗?
回答 2:核心目标一致:近似求解极因子、完成矩阵正交重塑;不同变体只是在 NS 正交化之前 / 之后增加预处理、采样、归一化分支,NS 本身是 Muon 谱系标志性组件。
问题 3:NorMuon 相比原版 Muon,为什么能缓解神经元死亡?
回答 3:原版 Muon 对矩形矩阵做正交重塑时,各行范数方差容易很大,部分神经元更新幅度长期接近 0;NorMuon 增加行级自适应归一化约束行范方差,避免神经元长期得不到有效更新,代价是修改了原生的谱几何假设。
问题 4:Muon 适合 CNN 卷积层训练吗?
回答 4:不适合原生使用,这篇 Muon 优化器变体综述说明 Muon 原生设计面向二维矩阵;卷积核属于高阶张量,想要用 Muon,必须先手动重塑展开成二维矩阵,效果不稳定,一般优先 AdamW。
【参考资料】
[2026-11-22](A Survey on Muon Optimizer Variants and Analysis)阿里云开发者社区
[2026-02-04](Delving into Muon and Beyond: Deep Analysis and Extensions)arXiv
[2025-02-16](MUON IS SCALABLE FOR LLM TRAINING)arXiv
[2026-06-26](Aurora: row norm control for polar updates)arXiv
【免责声明】
本文基于 Muon 优化器变体综述做解读;Muon 及其变体是研究向优化算法,效果高度依赖模型结构、batch size、学习率、权重形状,上线前需要在自有数据集上对比验证,不构成直接生产部署保证。
本文来自作者[隧光译码师]投稿,不代表岳鹿科技网立场,如若转载,请注明出处:https://www.newsyuelu.com/rgzn/202611/2679.html
评论列表(4条)
我是岳鹿科技网的签约作者“隧光译码师”!
希望本篇文章《《A Survey on Muon Optimizer Variants and Analysis》矩阵几何重塑优化Muon 优化器变体与理论分析综述,梳理谱正》能对你有所帮助!
本站[岳鹿科技网]内容主要涵盖:互联网行业的追踪与探索
本文概览:这篇综述围绕 Muon(MomentUm Orthogonalized by Newton-Schulz)优化器展开,Muon 属于矩阵感知谱优化器,核心是把二维权重梯度动量矩阵做极分解正交化(Newton-Schulz 迭代),抹平奇异值差异,让梯度各个方向更新强度均衡,区别于 Adam 逐元素归一化;综述汇总原始 Muon、LiMuon、NorMuon、MuonEq、Dion2、Aurora 等主流变体,从几何视角统一解释不同变体的改造思路:有的优化正交化前的矩阵预处理、有的修改谱变换函数、有的降低计算开销适配分布式大模型,同时分析收敛条件、非凸风险、超参数迁移规律,对比 Muon 与 Shampoo、SOAP、AdamW 在 LLM 预训练场景下的样本效率、显存开销、通信成本,指出 Muon 优势集中在二维线性权重,对卷积、高维张量原生支持弱,很多变体是在收敛稳定性、计算量、泛化能力之间做取舍。