mentor 字节

UltraMem 是字节跳动豆包大模型团队提出的全新超稀疏模型架构，解决传统 MoE 架构在推理时的高额访存问题。架构通过优化内存访问和计算效率，显著降低推理成本，推理速度较 MoE 提升了2-6倍，成本最高可降低83%。...