DeepGEMM是DeepSeek开源的为高效简洁的FP8矩阵乘法（GEMM）设计的库，目前仅支持NVIDIA Hopper张量核心。DeepGEMM支持普通和混合专家（MoE）分组的GEMM操作，基于即时编译（JIT）技术，无需安装时编译，支持在运行时动态优化。DeepGEMM基于细粒度缩放和CUDA核心双级累加技术，解决FP8精度不足的问题，同时用Hopper的Tensor Memory Accelerator（TMA）特性提升数据传输效率。DeepGEMM核心代码仅约300行，易于学习和优化。DeepGEMM的轻量设计，在多种矩阵形状上均达到或超过专家级优化库。

DeepGEMM – DeepSeek 开源的 FP8 通用矩阵乘法库 第1张
（图片来源网络，侵删）
DeepGEMM – DeepSeek 开源的 FP8 通用矩阵乘法库 第2张
（图片来源网络，侵删）