WorldSense是小红书和上海交通大学推出的,用在评估多模态大型语言模型(MLLMs)在现实世界场景中对视觉、听觉和文本输入的综合理解能力的基准测试。WorldSense包含1662个音频-视频同步的多样化视频,覆盖8个主要领域和67个细分子类别,及3172个多项选择问答对,涉及26个不同的认知任务。WorldSense强调音频和视频信息的紧密耦合,所有问题都需要用这两种模态得出正确答案。WorldSense高质量的标注由80名专家标注员手动完成,经过多轮验证,确保标注的准确性和可靠性。

WorldSense – 小红书联合上海交大推出的多模态全面评测新基准  第1张
(图片来源网络,侵删)
WorldSense – 小红书联合上海交大推出的多模态全面评测新基准  第2张
(图片来源网络,侵删)