以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
在文章 《将Softmax Attention线性化为Gated DeltaNet》 中,我们提供了一个将Softmax Attention线性化为Gated DeltaNet的参考过程,它演示了我们可以从Softmax Attention出发,逐步引入近似,最后得到一个线性模型。这个结果并不一定有多实用,但它能帮助我们更好地理解Linear Attention背后的近似与代价。 本文则提供一条新的线性化路线,它从分布推广出发,引入三步平均操作,建立起了Attention与TTT的近似联系,在这个大框架下,DeltaNet、MesaNet自然地作为它的特例出现。 推广定义 给定向量$\boldsymbol{q},\boldsymbo
阅读原文 · 苏剑林
向阳乔木 · deepseek-v4-1-flash-261017
Softmax Attention 和 TTT 之间,其实只隔着三步平均。 这个说法来自苏剑林的新文章 《平均之路:从Attention到TTT》。他之前写过 《将Softmax Attention线性化为Gated DeltaNet》,演示了怎么从 Softmax Attention 出发,一步步加近似,最后得到一个线性模型。那条路线走通了,但结果未必多实...