全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

慢即是快:2. Adam的尽头还是Muon?

在上一篇文章 《慢即是快:1. Shampoo的尽头是Muon?》 中,我们从凸优化的平均收敛结论出发,建立了“正交最慢下降”框架,并用于改进任意Kronecker积形式的预条件优化器。结果发现,在此框架的优化之下,这些优化器都有趋于Muon的迹象,于是笔者发出了“Shampoo的尽头是Muon”的悲观感慨。 除了Kronecker积外,预条件矩阵的另一种更简单的结构化近似是对角近似,常见例子是RMSProp、Adam等。注意对角近似虽然计算上比Kronecker积简单,但它俩并没有包含关系,所以一个新的问题是:对这类优化器施加正交最慢下降,会得到新的结果吗? 目标分析 沿用上一篇记号,梯度$\boldsymbol{G}\in\ma

阅读原文 · 苏剑林

乔木风格重写

向阳乔木 · deepseek-v4-1-flash-261017

上一篇文章《慢即是快:1. Shampoo的尽头是Muon?》里,作者从凸优化的平均收敛结论出发,搭了一个“正交最慢下降”的框架,用来改进各种 Kronecker 积形式的预条件优化器。结果发现,这些优化器在这个框架下都有向 Muon 靠拢的迹象,于是有了那句略带悲观的感慨:Shampoo 的尽头是 Muon。 这次换个方向。预条件矩阵除了 Kronecke...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出