全部
全部

选一篇,慢慢读

从左侧挑一篇,正文会在这里排成书页。

文章与公开阅读资产

平均之路:从 Attention 到 TTT

在文章 《将Softmax Attention线性化为Gated DeltaNet》 中,我们提供了一个将Softmax Attention线性化为Gated DeltaNet的参考过程,它演示了我们可以从Softmax Attention出发,逐步引入近似,最后得到一个线性模型。这个结果并不一定有多实用,但它能帮助我们更好地理解Linear Attention背后的近似与代价。 本文则提供一条新的线性化路线,它从分布推广出发,引入三步平均操作,建立起了Attention与TTT的近似联系,在这个大框架下,DeltaNet、MesaNet自然地作为它的特例出现。 推广定义 给定向量$\boldsymbol{q},\boldsymbo

阅读原文 · 苏剑林

乔木风格重写

向阳乔木 · deepseek-v4-1-flash-261017

Softmax Attention 和 TTT 之间,其实只隔着三步平均。 这个说法来自苏剑林的新文章 《平均之路:从Attention到TTT》。他之前写过 《将Softmax Attention线性化为Gated DeltaNet》,演示了怎么从 Softmax Attention 出发,一步步加近似,最后得到一个线性模型。那条路线走通了,但结果未必多实...

  • JK下一篇 / 上一篇
  • S收藏
  • A问 AI
  • I沉浸阅读
  • Esc退出