全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

从参数对称性到有效学习率

近来,越来越多的论文或者博客,开始基于参数的对称性来分析和指导模型的优化,比如 Hyperball 、 HyperTransfer 、 ELR 等,它们总体都是围绕着$\ell(\boldsymbol{w})=\ell(c\boldsymbol{w})$这一对称性假设来展开探索。如果我们让优化器的设计也“顺应”相应的对称性,往往能让训练过程更为稳健,也能降低超参数调优的心智负担。 然而,对称性假设本身也有一些争议的地方,如何为这条路找到更可靠的基础,让它可以更合理地走得更远?这篇文章分享一下笔者的思考。 结果回顾 这一节我们先来整理一下开头提到的三篇文章的逻辑线。 [...]

阅读原文 · 苏剑林

乔木风格重写

向阳乔木 · deepseek-v4-1-flash-261017

近来有几篇论文在讨论同一个问题:神经网络参数的尺度变化,为什么有时完全不影响损失?如果这个对称性成立,优化器是不是该顺着它来设计? 围绕这个假设,已经出现了 Hyperball、HyperTransfer、ELR 等工作。它们共享一个前提:损失函数满足 $\ell(\boldsymbol{w})=\ell(c\boldsymbol{w})$,也就是把参数整体...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出