以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
我们知道,DeltaNet的核心是$\boldsymbol{I}-\eta\boldsymbol{k}\boldsymbol{k}^{\top}$形式的更新矩阵(参考 《线性注意力简史:从模仿、创新到反哺》 ),在$\eta \leq 2$并对$\boldsymbol{k}$施加L2 Normalize时,它的连乘积具备良好的数值稳定性(参考 《为什么DeltaNet要加L2 Normalize?》 和 《DeltaNet的核心逆矩阵的元素总是在[-1, 1]内》 ),这是它能稳定训练的关键,后续工作 GDN 、 KDA 也沿用了这一设置。 后来, GDN2 试图将更新矩阵一般化为$\boldsymbol{I}-\eta\bolds
阅读原文 · 苏剑林
向阳乔木 · deepseek-v4-1-flash-261017
DeltaNet 能稳定训练,靠的是一个很具体的设定:更新矩阵写成 $\boldsymbol{I}-\eta\boldsymbol{k}\boldsymbol{k}^{\top}$,其中 $\eta \leq 2$,并且对 $\boldsymbol{k}$ 做 L2 Normalize。这个组合保证了连乘积的数值行为不会失控,相关推导在《为什么DeltaNe...