斯坦福大学的研究人员推出了Sophia：用于语言模型预训练的可扩展的二阶优化器 第1张

在定于明天发布的代码中，研究人员使用了普遍接受的LR定义的一个略微修改版本。虽然对于打字来说比较整洁，但该论文的LR定义可能更适合计算机代码。

Sophia在Github上的库：