以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
众所周知, Muon 优化器流行起来已经有好一段时间,虽然说不上完全取代Adam,但已经算得上不能忽视的、极具竞争力的优化器。与此同时,这两年Shampoo系优化器也“不甘落后”,除了原始Shampoo外,还演变出 KL-Shampoo 、 OKLS 、 PSGD 、 SOAP 等变体,都声称获得了比Muon更好的结果。 然而,本文将会泼一盆冷水:所有类似于Shampoo的、基于Kronecker积的预条件优化器,其理想极限可能都是Muon——我们花大代价所做的预条件矩阵,可能都是“无用功”。 平均收敛 我们从 《让炼丹更科学一些(十):单调性假设的拆与补》 得到的平均收敛结论出发:在凸性假设下,更新规则$\boldsymbol{\
阅读原文 · 苏剑林
向阳乔木 · deepseek-v4-1-flash-261017
Muon 火了这么久,Shampoo 系也没闲着。KL-Shampoo、OKLS、PSGD、SOAP 这些变体轮番登场,论文里给出的实验结果一个比一个好看,都说自己比 Muon 强。 但有个结论可能会让这些工作有点尴尬: 所有基于 Kronecker 积的预条件优化器,理想极限可能都是 Muon 。换句话说,那些花大力气算出来的预条件矩阵,在极限意义下可能全...