开放源码和开放权重模型之间有何区别？ 第1张

在训练过程中，模型会根据所看到的数据调整权重。它试图使预测更加准确。训练结束后，开发人员可以保存这些权重。这样，其他人就可以使用训练好的模型，而无需再次进行训练，从而节省了时间和资源。

以下是根据参数划分的 类型：

开放权重模型指的是一种大型语言模型（LLM），在这种模型中，模型的参数（又称“权重”）是公开的。这意味着任何人都可以下载、检查、使用或微调该模型，而不会遇到任何许可壁垒或专有限制。

与封闭或专有模型不同的是，开放权重模型的发布通常是为了鼓励研究、实验和社区驱动的创新。它们通常用于学术环境、初创企业或独立开发者，这些人希望突破这些模型的极限，或者只是在引擎盖下修修补补。

最大的优点是什么？它们有助于提高人工智能研究的透明度和可重复性。当权重开放时，其他研究人员可以验证结果、测试能力，或将其作为新工作的基准。这就像科学有了更好的版本控制。

现在，这里有一个重要的细微差别：开放权重≠开源。开源模型可以让你访问所有内容–架构、训练代码、数据集（有时）和权重–而开放权重模型只发布最终训练好的参数。你得不到完整的配方，只有最后的菜肴。

“开放权重 “是指模型的训练权重可供公众使用。任何人都可以下载这些权重。只要有合适的计算机系统，他们就可以在自己的应用程序中使用这些权重。开放权重可以让开发人员使用强大的预训练模型来完成编写文本或理解情感等任务。这就避免了从一开始就训练模型的高昂成本和时间。

开放式权重的主要优势在于可访问性。开发人员可以在他们的项目中快速使用高级模型。这有助于推动新思路的产生。然而，开放权重并不总是意味着模型的设计或训练数据也是公开的。用户可能会获得模型的能力，但却不知道它究竟是如何建立或训练的。

让我们来看几个例子

“开源模型 “是一个更广泛的概念。开源模型通常包括权重、完整的源代码、指南，通常还有训练数据。这种开放性可以让开发人员看到模型是如何工作的。他们可以改变模型，甚至用新数据重新训练模型。

开源方法支持团队合作和社区开发。开发人员可以帮助改进模型、查找错误并分享更改。这种群策群力的方式可以使模型更强大、更有用。使用和更改开源模型可能需要更多的技术知识，这对某些人来说可能是个挑战。

让我们来看几个例子

将这些模型与闭源模型进行比较也很有帮助。公司拥有这些模型。它们不会公开共享模型设计、权重或训练数据。人们通常通过公司提供的特定软件或工具来使用这些模型。这些软件或工具通常需要通过许可证或订阅付费。专有模型可能易于使用，并得到公司的支持。但它们的透明度很低，用户无法更改。

本表显示了主要区别：

在开放权重、开源或专有模型之间做出选择会影响工作。开放权重模型适合在一项任务中快速使用。开源模型适用于需要更改、明确理解或社区帮助的项目。专有模型适用于易用性和公司支持最重要且不需要更改的情况。

这种选择还涉及对负责任的人工智能开发的思考。公平使用数据、明确培训内容和确保问责制都很重要。开发人员应考虑其选择的影响。

以下是使用 库的简单示例：

设置

首先，安装所需的库：

1. 使用开放权重

本例使用 Mistral 7b。这是一个具有开放权重的模型。我们用它来生成文本。

让我们对模型进行量化，使其在本地机器上运行。

2. 使用 HuggingFace transformers 加载模型

3. 让我们定义管道，以方便推断

4. Performing inferencing

本例使用 GPT 2。这是一个开源模型，用于文本生成。因为它是开源的，所以你可以查看它的代码或进行修改。

进行文本生成

最终，GPT 2 成功生成了文本。

了解开放权重和开源模型之间的区别，有助于您在 LLM 世界中游刃有余。开放权重可以方便地使用预先训练好的模型。开源模型提供透明度、修改能力和社区支持。闭源模型提供了便利和支持，但限制了访问和控制。

随着人工智能的不断发展，了解这些选项有助于开发人员和研究人员根据自己的目标、资源和价值观选择最佳方法。同时，我也热切期待着 的开放权重模型的发布，请在下面的评论区告诉我您对该模型的期望。