什么是蒸馏模型（Distilled Model）？即更小更高效的模型 第1张Source: 

虽然蒸馏模型具有明显的优势，但也有一些挑战需要考虑：

模型蒸馏领域发展迅速。一些前景广阔的领域包括

经过提炼的模型正在各行各业得到实际应用：

蒸馏模型在高性能和计算效率之间实现了微妙的平衡，从而改变了深度学习。虽然它们可能会因为较小的规模和对软损失训练的依赖而牺牲一些准确性，但其更快的处理速度和更低的资源需求使它们在资源有限的环境中尤为宝贵。

从本质上讲，蒸馏网络模仿了其较大对应网络的行为，但由于容量有限，其性能永远无法超越。当计算资源有限或其性能非常接近原始模型时，这种权衡使蒸馏模型成为明智的选择。相反，如果性能下降明显，或者通过并行化等方法可以随时获得计算能力，那么选择原始的大型模型可能是更好的选择。