Yauntyours

Exact Linear Attention

从精确可分解核函数到线性复杂度注意力 —— 推导、工程改造与实验验证

线性注意力长期被视为把 Transformer 扩展到长序列的关键方向。本文给出一种"精确"线性注意力：利用核函数的精确可分解性，把 $O(L^2)$ 注意力改写为…