清华三巨头

清华第三代Sage注意力发布！提速5倍，精度不降，训推都能用 清华大学朱军教授团队提出SageAttention3，利用FP4量化实现推理加速，比FlashAttention快5倍，同时探索了8比特注意力用于训练任务的...