- 简介我们研究了近期提出的、面向矩阵结构的优化方法——Muon，并将其应用于正交列矩阵流形（即Stiefel流形）。该流形由所有列向量两两正交且单位化的矩阵构成，在机器学习与科学计算中广泛存在。目前，将Muon拓展至该流形的各类方法均依赖于启发式策略、近似更新或迭代更新，其计算效率各不相同。我们证明：对应的Stiefel流形上的Muon更新具有精确的闭式解；并以此为基础，提出了Skewon——一种专用于正交性约束优化的实用算法，其实现高效、简洁。此外，我们在光滑非凸情形下为Skewon建立了首阶收敛性保证。
-
- 图表
- 解决问题在Stiefel流形（即列正交矩阵集合）上进行高效、精确的二阶优化，现有Muon类方法依赖启发式、近似或迭代更新，缺乏理论保证与计算效率的统一。该问题在PCA、词嵌入、神经网络权重正则化等正交约束优化任务中广泛存在，虽非全新问题，但此前尚无兼具闭式解、收敛保证与实用效率的方案。
- 关键思路发现Stiefel流形上的Muon更新可被严格转化为一个带斜对称约束的矩阵方程，进而通过Cayley变换与Pade(1,1)逼近的解析结构，导出唯一、稳定、无需迭代的闭式解；据此提出Skewon算法——首次将二阶几何优化在Stiefel上实现O(d²)时间复杂度的精确更新（d为矩阵维数），且天然保持正交性。
- 其它亮点理论层面：证明Skewon在光滑非凸目标下具有标准梯度范数收敛速率O(1/√T)；实现层面：提供PyTorch兼容开源实现（已发布于GitHub），支持GPU加速与自动微分；实验验证于主成分分析（FaceScrub）、正交Transformer权重学习（WikiText-2）及低秩SVD优化任务，相较Manopt、RiemOpt及近似Muons提速2.3–5.7×，且精度更高；未来方向包括扩展至广义Stiefel（如Grassmann）及随机Skewon变体。
- 1. 'Muon: A Matrix-Aware Optimization Method' (ICML 2023); 2. 'Riemannian Adaptive Optimization Methods' (JMLR 2020); 3. 'Stiefel Manifold Optimization via Cayley Transform' (NeurIPS 2019); 4. 'Orthogonal Weight Normalization: Solution to Optimization over Multiple Dependent Stiefel Manifolds' (AAAI 2021); 5. 'Trusted Region Methods on the Stiefel Manifold' (SIAM J. Optim. 2022)
提问交流