以下为上游提供的源文稿，可能存在识别错误。
乔木转写是基于源文稿的中文提炼，不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇，慢慢读
从左侧挑一篇，正文会在这里排成书页。
本系列前面八篇文章，都是在围绕SGD及其学习率讨论。而从本文开始，我们将正式进入自适应梯度算法的世界。可以说，现在所有的自适应梯度算法，都有一个共同的源头，那就是2011年的经典之作 《Adaptive Subgradient Methods for Online Learning and Stochastic Optimization》 ——也就是著名的AdaGrad论文。 这篇论文将SGD的经典收敛结论推广到一般的预条件矩阵形式，继而推导出最优的预条件矩阵正是梯度的二阶矩（的$-1/2$次幂），然后取对角线近似得到AdaGrad。虽然AdaGrad本身不算太流行，其启发的后续工作如RMSProp、Adam等，是当之无愧的主流优化
阅读原文 · 苏剑林
向阳乔木 · deepseek-v4-1-flash-261017
2011 年的一篇论文，把 SGD 的收敛证明推广到了一个更一般的形式，顺手推导出“最优预条件矩阵就是梯度二阶矩的 -1/2 次幂”。这个结论直接催生了 AdaGrad，而 AdaGrad 又启发了 RMSProp、Adam 这一整条主流优化器谱系。 这篇论文就是 《Adaptive Subgradient Methods for Online Learni...