什么是LLM基准测试？类型及当前最受欢迎的有哪些？ 第1张

MMMU 评估人工智能模型在文本、图像和图表等多种模式下进行处理和推理的能力，这对多模式人工智能应用至关重要。

测试方法：

对模型进行测试的任务需要同时解释文本和视觉输入。这些任务包括回答有关图像的问题、对图表进行推理以及从多媒体数据中提取见解。

数据集：经过整理的图像-文本对集合，涵盖科学图表、图表、医学图像和日常场景。

基准测试结果意味着什么？

MMMU 高分表明人工智能模型有能力在自动文档分析、人工智能辅助医疗成像和智能数据可视化等领域表现出色。例如，如果一个模型的得分超过 80 分，它就能准确处理和响应复杂的多模态查询。与此同时，得分低于 40 分的模型在跨模态推理方面可能会遇到困难，并产生不一致的结果。

VQAv2 测试人工智能模型解释图像并回答相应文本问题的能力。它被广泛用于评估人工智能在视觉语言理解方面的表现。

测试方法：

为人工智能模型提供图像和自然语言问题。根据生成的答案是否符合人类标注的正确答案来衡量准确性。

数据集：数据集由 265,000 个图像-问题-答案三元组组成，可确保在不同领域进行稳健的评估。

该基准结果意味着什么？

VQAv2 高分意味着在可访问性应用、自动图像字幕和人工智能驱动的内容审核方面具有很强的能力。例如，如果一个模型的得分超过 80%，它就能准确理解和描述复杂的图像。与此同时，得分低于 40% 的模型可能会误解图像，难以理解上下文，并提供不正确或含糊不清的回复。

BFCL 测试模型理解 API 文档和执行函数调用任务的能力。它模拟了人工智能助手必须将自然语言翻译成结构化 API 调用的场景。这是基于 LLM 的代理与外部工具和环境交互的关键技能。

测试方法：

测试提供了一条自然语言指令（如“查看明天中午巴黎的天气”）和一个带有输入参数的可用函数定义列表。模式必须返回格式正确、符合用户意图的函数调用。

评估将检查该模式是否能找到与预期函数签名完全匹配的函数，是否能正确映射参数和值，是否能正确使用数据类型和约束条件。参数不匹配、幻觉函数或误解参数等错误会导致得分降低。

数据集：数据集包括数千个真实 API 场景，如天气查询、日历调度和搜索任务。每个提示都有明确的规范和参数，并配有以结构化 JSON 类语法定义的函数模式。

基准测试结果意味着什么？

BFCL 高分表明模型能够正确解释结构化输入、遵循约束条件并进行精确的函数调用。这对与插件或 API 等工具集成的 LLM 至关重要。

如果模型在这一基准中得分超过 90 分，则表明其具有很强的工具使用能力。而得分低于 50 分的模型则可能反映出参数处理不佳和容易产生幻觉的行为。

LLM 在受控环境中进行测试，外部偏差或额外的人为干预不会影响测试结果。大多数官方基准（如 MMLU 和 HumanEval）都是如此，它们评估的是特定的能力。然而，真实世界的排行榜（如 和 ）则依赖于用户反馈和众包评价。因此，后者能对 LLM 的有效性进行更动态的评估。

官方基准提供标准化的评估指标，但往往不能反映真实世界的表现。基于排行榜的评估，如 LMSys 或 Hugging Face 上的评估，可以捕捉到实时的用户反馈，从而使其成为衡量 LLM 可用性的更实用的标准。

、Hugging Face 和 Open LLM Leaderboards 等平台提供了动态、真实的评估。此类平台上由社区驱动的反馈显示了 LLM 是如何随着时间的推移而发展的，而不是一次性的固定基准测试。此外，大多数标准基准只公布最终结果，这就会引起对其真实性的质疑，尤其是当高分模型在现实中表现不佳时。在这种情况下，开源基准鼓励合作和透明，从而带来更可靠的 LLM 评估。

以下是比较流行人工智能模型在实际任务中表现的文章列表：

虽然基准对于评估原始能力非常有用，但它们并不总能反映真实世界的性能。它们也没有考虑到用户如何体验人工智能模型。因此，诸如延迟、上下文管理和对用户特定需求的适应性等因素并不能通过标准化测试完全反映出来。

例如，一个在 MMLU 上得分很高的模型在处理实时交互或需要上下文记忆的复杂提示时可能仍然会很吃力。例如，、 和在 MMLU 中得分很高，但在实际任务中却大相径庭。

诸如此类的例子清楚地表明，虽然基准分数经常被用作性能指标，但它们并不总能转化为实际效果。

以下是一些文章，它们真实地比较了一些流行人工智能模型的已发布基准与它们在实际应用中的真实表现：

LLM 基准对于比较模型仍然很有价值，但面对真实世界的应用，其相关性正在减弱。虽然它们能提供有价值的见解，但真实世界测试和动态排行榜评估能更准确地反映人工智能模型在实际场景中的表现。虽然基准测试提供了结构化的评估，但现实世界中的 LLM 性能往往会因及时工程、检索增强生成（RAG）和人为反馈回路而有所不同。

LLM Arena Leaderboard 等众包评估提供了传统基准之外的更多真实世界见解。随着人工智能系统的交互性越来越强，排行榜排名和用户反馈等动态评估可以更准确地衡量 LLM 的能力。基准测试的未来可能涉及将传统评估与真实世界测试环境相结合的混合方法。