Gemma 3 QAT(Quantization-Aware Training)是谷歌推出的最新一代开源模型,是 的量化优化版本。通过量化感知训练技术,Gemma 3 QAT 在显著降低内存需求的同时,保持了高质量的性能。 Gemma 3 27B 的显存需求从 54GB 降低到 14.1GB,能够在消费级 GPU(如 NVIDIA RTX 3090)上本地运行。Gemma 3 12B 的显存需求从 24GB 降至 6.6GB,可以在笔记本电脑的 NVIDIA RTX 4060 GPU 上高效运行。使更多用户能在普通硬件上体验强大的 AI 功能。


全部评论
留言在赶来的路上...
发表评论