第一个100w

第一个100%开源的MoE大模型，7B的参数，1B的推理成本 训练代码、中间 checkpoint、训练日志和训练数据都已经开源。尽管大语言模型 (LM 在各种任务上取得了重大进展，但在训练和推理方面，性能和成本之间...