清华开源软件站

KTransformers是清华大学KVCache.AI团队联合趋境科技推出的开源项目，能优化大语言模型的推理性能，降低硬件门槛。KTransformers基于GPU/CPU异构计算策略，用MoE架构的稀疏性，支持在仅24G...