以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
在上一篇文章 《慢即是快:1. Shampoo的尽头是Muon?》 中,我们从凸优化的平均收敛结论出发,建立了“正交最慢下降”框架,并用于改进任意Kronecker积形式的预条件优化器。结果发现,在此框架的优化之下,这些优化器都有趋于Muon的迹象,于是笔者发出了“Shampoo的尽头是Muon”的悲观感慨。 除了Kronecker积外,预条件矩阵的另一种更简单的结构化近似是对角近似,常见例子是RMSProp、Adam等。注意对角近似虽然计算上比Kronecker积简单,但它俩并没有包含关系,所以一个新的问题是:对这类优化器施加正交最慢下降,会得到新的结果吗? 目标分析 沿用上一篇记号,梯度$\boldsymbol{G}\in\ma
阅读原文 · 苏剑林
向阳乔木 · deepseek-v4-1-flash-261017
上一篇文章《慢即是快:1. Shampoo的尽头是Muon?》里,作者从凸优化的平均收敛结论出发,搭了一个“正交最慢下降”的框架,用来改进各种 Kronecker 积形式的预条件优化器。结果发现,这些优化器在这个框架下都有向 Muon 靠拢的迹象,于是有了那句略带悲观的感慨:Shampoo 的尽头是 Muon。 这次换个方向。预条件矩阵除了 Kronecke...