通古大模型是华南理工大学深度学习与视觉计算实验室(SCUT-DLVCLab)推出的专注于古籍文言文处理的人工智能语言模型。基于百川2-7B-Base进行增量预训练,使用24.1亿古籍语料进行无监督训练,结合400万古籍对话数据进行指令微调。模型采用冗余度感知微调(RAT)技术,有效提升了古籍任务的性能。帮助用户更便捷地理解和翻译古籍文献。通过检索增强生成(CCU-RAG)技术,减少知识密集型任务中的幻觉问题,提高生成内容的准确性和可靠性。

通古大模型 – 华南理工大学推出的古籍大语言模型  第1张
(图片来源网络,侵删)
通古大模型 – 华南理工大学推出的古籍大语言模型  第2张
(图片来源网络,侵删)