科学空间在去年的技术报告《Muon is Scalable for LLM Training》中，为了对比Muon与Adam所训练出来的模型的差异，我们引入了“奇异值熵”的概念，观察到Muon训练出来的矩阵参数，其奇异值熵普遍高于Adam所训的矩阵，我们将此作为“Muon更充分利用了模型参数”的一个经验证据。
然而，奇异值熵真的越高越好吗？是否存在一个最优的奇异值熵呢？或者反过来问，如果我们必须事先限定矩阵参数的奇异值熵，那么该取一个什么值呢？
概念回顾
首先回顾一些概念。我们知道矩阵的奇异值都是非负的，那么我们就可以对奇异值做某种归一化，比如直接归一化/平方归一化：
\begin{equation}p_i = \frac{\sigma_i}{\sum_{j=1}^n \sigma_j}\qquad\text{或}\qquad p_i = \frac{\sigma_i^2}{\sum_{j=1}^n \sigma_j^2}\end{equation}