复旦 imba

MHA2MLA是复旦大学、华东师范大学、上海AI Lab等机构联合推出的数据高效的微调方法，基于引入DeepSeek的多头潜在注意力机制（MLA），优化任何基于Transformer的LLM的推理效率，降低推理成本。...

ImBD（Imitate Before Detect）是复旦大学、华南理工大学、武汉大学、Fenzi AI等推出的用在检测机器修订文本的方法。首先模仿大型语言模型（LLMs）生成文本的风格，基于风格偏好优化（SPO）调整评分...