ENEL – 上海 AI Lab 推出的无编码器3D大型多模态模型

ENEL（Exploring the Potential of Encoder-free Architectures in 3D LMMs）是创新的无编码器3D大型多模态模型（3D LMM），解决传统编码器架构在3D理解任务中的局限性。ENEL通过去除3D编码器，直接将点云数据转换为离散的点标记，与文本标记拼接后输入到大型语言模型（LLM）中。模型通过两种关键策略实现高效语义编码和几何结构理解：一是LLM嵌入的语义编码策略，通过混合语义损失提取高级语义；二是分层几何聚合策略，使LLM能关注点云的局部细节。

ENEL的7B模型在多个3D任务上表现出色，包括3D对象分类、3D对象字幕生成和3D视觉问答（VQA）。在Objaverse基准测试中，ENEL-7B的字幕生成任务GPT分数达到50.92%，分类任务达到55.0%，在3D MM-Vet数据集的VQA任务中达到42.7%，均与现有的13B模型（如ShapeLLM）相当。ENEL的无编码器架构在语义编码方面表现出色，能更好地捕捉点云与文本之间的语义相关性。