常用的量化模型分析软件有哪些?

字节开源大模型量化新思路，2-bit量化模型精度齐平fp16 随着深度学习大语言模型的越来越火爆，大语言模型越做越大，使得其推理成本也水涨船高。模型量化，成为一个热门的研究课题。近日，字节跳动语音团队推出一个全新的量化...

50s完成7B模型量化，4bit达到新SOTA，大模型低比特量化有新招了 | NeurIPS 2024 Oral 消除激活值(outliers ，大语言模型低比特量化有新招了——自动化所、清华、港城大团队最近有一篇论文...