科学空间精通炼丹的同学都知道，步长调度，或者说学习率调度（LR Schedule），对模型最终效果来说至关重要。我们在前几篇文章中已经推导过，即便只考虑SGD，终点收敛的最优学习率函数也具有Warmup-Decay这一实践常用的形态。不过，近来也有一些工作，比如Schedule-Free，尝试通过模型权重的某种平均来替代学习率调度，也取得了一些进展。
如何从理论上分析学习率调度与权重平均的联系呢？它们在多大程度上可以相互替换呢？这篇文章我们来尝试回答一下这些问题。
权重平均
对于权重平均，事实上我们在《让炼丹更科学一些（三）：SGD的终点损失收敛》就已经给出过一个基本结果
\begin{equation}\mathbb{E}[L(\bar{\boldsymbol{\theta}}_T) - L(\boldsymbol{\theta}^*)] \leq \frac{\Vert\boldsymbol{\theta}_1 - \boldsymbol{\theta}^*\Vert^2}{2T\eta_T} + \frac{G^2}{2T}\sum_{t=1}^T \frac{\eta_t^2}{\eta_T}\end{equation}