显存占用80

80G显存塞50个7B大模型！清华&OpenBMB开源增量压缩新算法，显存节省8倍 最新模型增量压缩技术，一个80G的A100 GPU能够轻松加载多达50个7B模型，节省显存约8倍...