全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

如何让GDN2更稳定一些?

我们知道,DeltaNet的核心是$\boldsymbol{I}-\eta\boldsymbol{k}\boldsymbol{k}^{\top}$形式的更新矩阵(参考 《线性注意力简史:从模仿、创新到反哺》 ),在$\eta \leq 2$并对$\boldsymbol{k}$施加L2 Normalize时,它的连乘积具备良好的数值稳定性(参考 《为什么DeltaNet要加L2 Normalize?》 和 《DeltaNet的核心逆矩阵的元素总是在[-1, 1]内》 ),这是它能稳定训练的关键,后续工作 GDN 、 KDA 也沿用了这一设置。 后来, GDN2 试图将更新矩阵一般化为$\boldsymbol{I}-\eta\bolds

阅读原文 · 苏剑林

乔木风格重写

向阳乔木 · deepseek-v4-1-flash-261017

DeltaNet 能稳定训练,靠的是一个很具体的设定:更新矩阵写成 $\boldsymbol{I}-\eta\boldsymbol{k}\boldsymbol{k}^{\top}$,其中 $\eta \leq 2$,并且对 $\boldsymbol{k}$ 做 L2 Normalize。这个组合保证了连乘积的数值行为不会失控,相关推导在《为什么DeltaNe...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出