以下为上游提供的源文稿,可能存在识别错误。
乔木转写是基于源文稿的中文提炼,不是逐字翻译。请核对原文中的人名、数字与观点。
选一篇,慢慢读
从左侧挑一篇,正文会在这里排成书页。
Softmax Attention想必大家已经不陌生,它是定义在有限向量集合下的一个加权混合算子。近日,论文 《Continuum Attention》 提出了一个很有意思的想法——将注意力连续化。这让笔者想起,之前在 《为什么DeltaNet要加L2 Normalize?》 介绍的 EFLA 也是将离散RNN连续化,然后又重新离散化,得到一些有意思的结果,类似的还有早期的 SSM 系列工作。 这样看来,“连续化—离散化”似乎是一条屡试不爽的探索路径。那么,Softmax Attention连续化又能得到什么有意思的结果呢?让我们一起来品鉴一番。 问题描述 标准的Softmax Attention定义为 \begin{equatio
阅读原文 · 苏剑林
向阳乔木 · deepseek-v4-1-flash-261017
Softmax Attention 大家都很熟了,它本质上是一个定义在有限向量集合上的加权混合算子。最近有篇论文 《Continuum Attention》 提了个挺有意思的想法:把注意力连续化。 这让人想起之前 《为什么DeltaNet要加L2 Normalize?》 里介绍的 EFLA,它把离散 RNN 连续化,再重新离散化,得到了一些有意思的结果。早期...