置顶

12 阅读置顶

Exact Linear Attention

从精确可分解核函数到线性复杂度注意力 —— 推导、工程改造与实验验证

线性注意力长期被视为把 Transformer 扩展到长序列的关键方向。本文给出一种"精确"线性注意力：利用核函数的精确可分解性，把 $O(L^2)$ 注意力改写为…

论文深度学习# 线性注意力# 注意力机制# MoE# 记忆模块

最新文章

全部 8 篇
C++ Standard Library ListC++标准库列表4 阅读
机器学习·智械起源数字如何从0到1构造智能4 阅读

文集

How to Design an Elegant Agent System从 cell.cpp 提炼的十条构造原则 —— 把不确定性关进确定性的笼子14 阅读

文集

最小系统的设计原理如何优雅地设计一个极客风格的系统1 阅读
你好，墨痕 —— 一个用 Python 渲染的水墨博客引擎从 Markdown 到可部署站点：构建管线、渲染能力与思维链的全景笔记6 阅读
安静的机器关于「不做多余的事」的一点想法1 阅读
开站为什么又写一个博客1 阅读