常用的量化模型分析软件有哪些?
-
发布了文章 2个月前
字节开源大模型量化新思路,2-bit量化模型精度齐平fp16
字节开源大模型量化新思路,2-bit量化模型精度齐平fp16 随着深度学习大语言模型的越来越火爆,大语言模型越做越大,使得其推理成本也水涨船高。模型量化,成为一个热门的研究课题。近日,字节跳动语音团队推出一个全新的量化...
-
发布了文章 2个月前
50s完成7B模型量化,4bit达到新SOTA,大模型低比特量化有新招了 - NeurIPS 2024 Oral
50s完成7B模型量化,4bit达到新SOTA,大模型低比特量化有新招了 | NeurIPS 2024 Oral 消除激活值(outliers ,大语言模型低比特量化有新招了——自动化所、清华、港城大团队最近有一篇论文...
没有更多内容













