《注意力曲线》

从线性注意力视角揭秘视觉Mamba，清华、阿里合作提出全新MILA模型 论文第一作者为清华大学自动化系博士生韩东辰，指导老师为黄高副教授。他的主要研究方向包括高效模型架构设计、多模态大模型等。Mamba 是一种具有线性...

Softmax注意力与线性注意力的优雅融合，Agent Attention推动注意力新升级 来自清华大学的研究者提出了一种新的注意力范式——代理注意力 (Agent Attention 。...