蒸馏过程原理

模型知识蒸馏新SOTA！告别传统散度蒸馏｜腾讯优图&中科大出品 用大模型“蒸馏”小模型，有新招了！甚至能在不同类型和架构的LLMs（大语言模型）上达到新SOTA。这就是来自中科大、腾讯优图实验室提出的一种基于S...