《A Survey on Muon Optimizer Variants and Analysis》矩阵几何重塑优化Muon 优化器变体与理论分析综述,梳理谱正

这篇综述围绕 Muon(MomentUm Orthogonalized by Newton-Schulz)优化器展开,Muon 属于矩阵感知谱优化器,核心是把二维权重梯度动量矩阵做极分解正交化(Newton-Schulz 迭代),抹平奇异值差异,让梯度各个方向更新强度均衡,区别于 Adam 逐元素归一化;综述汇总原始 Muon、LiMuon、NorMuon、MuonEq、Dion2、Aurora 等主流变体,从几何视角统一解释不同变体的改造思路:有的优化正交化前的矩阵预处理、有的修改谱变换函数、有的降低计算开销适配分布式大模型,同时分析收敛条件、非凸风险、超参数迁移规律,对比 Muon 与 Shampoo、SOAP、AdamW 在 LLM 预训练场景下的样本效率、显存开销、通信成本,指出 Muon 优势集中在二维线性权重,对卷积、高维张量原生支持弱,很多变体是在收敛稳定性、计算量、泛化能力之间做取舍。

Muon 核心原理

原始 Muon:维护动量矩阵 M,用 Newton-Schulz 迭代求极因子 UVᵀ(丢弃奇异值 Σ),也就是矩阵正交重塑,把动量梯度矩阵变成近似半正交矩阵;本质是谱范数约束下的最速下降,放大那些原本被大奇异方向压制、很重要的微小梯度方向,提升样本效率,优化器仅需 1 份动量缓存,显存占用低于 AdamW(Adam 需要一阶、二阶两个缓存)。

Muon 主流变体清单

变体改造点收益短板
原始 Muon基础 NS 正交化,直接对动量矩阵求极因子实现简单,小模型(NanoGPT)收敛快矩形权重、高维张量稳定性差,条件数敏感
LiMuon动量方差缩减 + 随机 SVD降低样本复杂度,理论收敛边界更好增加 SVD 开销
NorMuon行级自适应归一化,控制行范方差缓解神经元 “死亡”,矩形矩阵训练更稳改动原生谱几何,偏离 Muon 原始理论
MuonEq正交化前做矩阵均衡预处理减少奇异值极端悬殊,训练波动变小需要额外均衡步骤
Dion2随机行列采样缩减正交矩阵规模分布式训练通信、算力下降,可扩展到大模型采样会引入噪声,需要调采样率
Aurora保留极因子精度的同时约束行范分布兼顾原始 Muon 几何和更新方差控制实现复杂度更高
MuonAll面向大模型微调专用适配微调场景优于原版预训练场景提升有限

经典优化器横向对比

优化器归一化方式状态缓存适合场景
AdamW逐元素二阶 RMS 归一化双缓存通用、混合层、CNN、小模型
ShampooKronecker 预条件白化高开销预条件矩阵大模型,算力充足场景
Muon 系列动量矩阵正交重塑(极分解)单缓存Transformer 二维线性权重(QKV、FFN)

综述给出的落地规则

✅ 优先使用场景:Transformer 预训练,QKV、MLP 这类二维权重,追求样本效率、显存节约

✅ 变体选型建议:单机小规模实验用原版 Muon;矩形权重、容易出现梯度失衡选 NorMuon;多机分布式训练优先 Dion2;微调任务尝试 MuonAll

❌ 不适合:卷积核等高维张量参数、极小 batch、噪声极强的数据;Muon 不会自动优于 AdamW,属于结构专用优化器

开放研究挑战

  1. 高维张量的通用矩阵几何重塑方案(当前 Muon 需要先把张量展开为 2D 矩阵)
  2. 非凸目标下 Muon 的收敛性证明,部分条件下存在不收敛风险
  3. 统一超参数缩放律,让 Muon 超参数可以像 μP 一样跨模型尺寸迁移
  4. 混合优化策略:Muon+Adam 混合调度,不同层自适应选择优化器

【相关 FAQ】

问题 1:这篇 Muon 优化器变体综述里,Muon 和 AdamW 最核心区别是什么?

回答 1:Muon 做矩阵几何重塑正交化,把整个权重动量矩阵的奇异值抹平、各个方向更新力度均衡;AdamW 是逐元素单独做二阶归一化,不考虑权重矩阵的整体谱结构。Muon 只需要 1 份动量缓存,显存更省,但只在二维线性权重上优势明显。

问题 2:Muon 的 Newton-Schulz 迭代在这些变体里作用一样吗?

回答 2:核心目标一致:近似求解极因子、完成矩阵正交重塑;不同变体只是在 NS 正交化之前 / 之后增加预处理、采样、归一化分支,NS 本身是 Muon 谱系标志性组件。

问题 3:NorMuon 相比原版 Muon,为什么能缓解神经元死亡?

回答 3:原版 Muon 对矩形矩阵做正交重塑时,各行范数方差容易很大,部分神经元更新幅度长期接近 0;NorMuon 增加行级自适应归一化约束行范方差,避免神经元长期得不到有效更新,代价是修改了原生的谱几何假设。

问题 4:Muon 适合 CNN 卷积层训练吗?

回答 4:不适合原生使用,这篇 Muon 优化器变体综述说明 Muon 原生设计面向二维矩阵;卷积核属于高阶张量,想要用 Muon,必须先手动重塑展开成二维矩阵,效果不稳定,一般优先 AdamW。

【参考资料】

[2026-11-22](A Survey on Muon Optimizer Variants and Analysis)阿里云开发者社区

[2026-02-04](Delving into Muon and Beyond: Deep Analysis and Extensions)arXiv

[2025-02-16](MUON IS SCALABLE FOR LLM TRAINING)arXiv

[2026-06-26](Aurora: row norm control for polar updates)arXiv

【免责声明】

本文基于 Muon 优化器变体综述做解读;Muon 及其变体是研究向优化算法,效果高度依赖模型结构、batch size、学习率、权重形状,上线前需要在自有数据集上对比验证,不构成直接生产部署保证。

本文来自作者[隧光译码师]投稿,不代表岳鹿科技网立场,如若转载,请注明出处:https://www.newsyuelu.com/rgzn/202611/2679.html

赞 (1)
反馈

发表回复

本站作者后才能评论

评论列表(4条)

  • 隧光译码师
    隧光译码师 2026年11月22日

    我是岳鹿科技网的签约作者“隧光译码师”!

  • 隧光译码师
    隧光译码师 2026年11月22日

    希望本篇文章《《A Survey on Muon Optimizer Variants and Analysis》矩阵几何重塑优化Muon 优化器变体与理论分析综述,梳理谱正》能对你有所帮助!

  • 隧光译码师
    隧光译码师 2026年11月22日

    本站[岳鹿科技网]内容主要涵盖:互联网行业的追踪与探索

  • 隧光译码师
    隧光译码师 2026年11月22日

    本文概览:这篇综述围绕 Muon(MomentUm Orthogonalized by Newton-Schulz)优化器展开,Muon 属于矩阵感知谱优化器,核心是把二维权重梯度动量矩阵做极分解正交化(Newton-Schulz 迭代),抹平奇异值差异,让梯度各个方向更新强度均衡,区别于 Adam 逐元素归一化;综述汇总原始 Muon、LiMuon、NorMuon、MuonEq、Dion2、Aurora 等主流变体,从几何视角统一解释不同变体的改造思路:有的优化正交化前的矩阵预处理、有的修改谱变换函数、有的降低计算开销适配分布式大模型,同时分析收敛条件、非凸风险、超参数迁移规律,对比 Muon 与 Shampoo、SOAP、AdamW 在 LLM 预训练场景下的样本效率、显存开销、通信成本,指出 Muon 优势集中在二维线性权重,对卷积、高维张量原生支持弱,很多变体是在收敛稳定性、计算量、泛化能力之间做取舍。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们