OpenEMMA是德州农工大学、密歇根大学和多伦多大学共同开源的端到端自动驾驶多模态模型框架,基于预训练的多模态大型语言模型(MLLMs)处理视觉数据和复杂驾驶场景的推理。框架基于链式思维推理过程,显著提高模型在轨迹规划和感知任务中的性能,同时集成专门优化的YOLO模型提高3D边界框预测的准确性。OpenEMMA提供了一个平台,促进更广泛的研究和开发,推动自动驾驶技术的进步。

OpenEMMA – 德克萨斯联合多伦多等大学开源的端到端自动驾驶多模态模型  第1张
(图片来源网络,侵删)
OpenEMMA – 德克萨斯联合多伦多等大学开源的端到端自动驾驶多模态模型  第2张
(图片来源网络,侵删)