MT-TransformerEngine 是摩尔线程开源的高效训练与推理优化框架，专为 Transformer 模型设计。框架通过算子融合、并行加速等技术，充分基于摩尔线程全功能 GPU 的计算潜力，显著提升训练效率。支持 FP8 混合精度训练，借助 GPU 的原生 FP8 计算能力，进一步优化性能和稳定性。MT-TransformerEngine 与 协同，实现高效的混合并行训练，适用于 BERT、GPT 等大型模型。
（图片来源网络，侵删）
（图片来源网络，侵删）
上一篇
MT-baidu09TransformerEngine – 摩尔线程开源的高效训练与推理优化框架
猜你喜欢
-
发布了文章 3小时前
MT-baidu09MegatronLM – 摩尔线程开源的混合并行训练框架
MT-MegatronLM 是摩尔线程推出的面向全功能 GPU 的开源混合并行训练框架，主要用于高效训练大规模语言模型。支持 dense 模型、多模态模型及 MoE（混合专家）模型的训练。框架基于全功能 GPU 支持 FP8...
全部评论
留言在赶来的路上...
发表评论