量化模型及软件网

字节开源大模型量化新思路，2-bit量化模型精度齐平fp16 随着深度学习大语言模型的越来越火爆，大语言模型越做越大，使得其推理成本也水涨船高。模型量化，成为一个热门的研究课题。近日，字节跳动语音团队推出一个全新的量化...