论文单独作者

单一作者论文，谷歌提出百万专家Mixture，超越密集前馈、稀疏MoE 释放进一步扩展 Transformer 的潜力，同时还可以保持计算效率。标准 Transformer 架构中的前馈（FFW）层会随着隐藏层宽度的增...