Gemma 3 QAT(Quantization-Aware Training)是谷歌推出的最新一代开源模型,是 的量化优化版本。通过量化感知训练技术,Gemma 3 QAT 在显著降低内存需求的同时,保持了高质量的性能。 Gemma 3 27B 的显存需求从 54GB 降低到 14.1GB,能够在消费级 GPU(如 NVIDIA RTX 3090)上本地运行。Gemma 3 12B 的显存需求从 24GB 降至 6.6GB,可以在笔记本电脑的 NVIDIA RTX 4060 GPU 上高效运行。使更多用户能在普通硬件上体验强大的 AI 功能。

Gemma 3 QAT – 谷歌推出的最新开源模型,Gemma 量化版  第1张
(图片来源网络,侵删)
Gemma 3 QAT – 谷歌推出的最新开源模型,Gemma 量化版  第2张
(图片来源网络,侵删)