以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
近来,越来越多的论文或者博客,开始基于参数的对称性来分析和指导模型的优化,比如 Hyperball 、 HyperTransfer 、 ELR 等,它们总体都是围绕着$\ell(\boldsymbol{w})=\ell(c\boldsymbol{w})$这一对称性假设来展开探索。如果我们让优化器的设计也“顺应”相应的对称性,往往能让训练过程更为稳健,也能降低超参数调优的心智负担。 然而,对称性假设本身也有一些争议的地方,如何为这条路找到更可靠的基础,让它可以更合理地走得更远?这篇文章分享一下笔者的思考。 结果回顾 这一节我们先来整理一下开头提到的三篇文章的逻辑线。 [...]
阅读原文 · 苏剑林
向阳乔木 · deepseek-v4-1-flash-261017
近来有几篇论文在讨论同一个问题:神经网络参数的尺度变化,为什么有时完全不影响损失?如果这个对称性成立,优化器是不是该顺着它来设计? 围绕这个假设,已经出现了 Hyperball、HyperTransfer、ELR 等工作。它们共享一个前提:损失函数满足 $\ell(\boldsymbol{w})=\ell(c\boldsymbol{w})$,也就是把参数整体...