什么是视觉检索增强生成（Vision RAG）模型？ 第1张

匹配度最高的文档页面将作为图像提交给视觉语言模型 (VLM)。它们通过解码视觉和文本信号，生成与上下文相关的答案。

注：答案质量在很大程度上取决于所采用的视觉语言模型和文档图像的分辨率。

这种设计无需复杂的文本提取管道，而是通过考虑文档的视觉方面来提供对文档更丰富的理解。不需要任何分块策略或嵌入模型的选择，也不需要常规 RAG 系统中使用的检索策略。

既然大家已经熟悉了 localGPT-Vision，那就让我们来看看它的实际操作吧。

上一段视频演示了该模型的工作原理。在屏幕左侧，您可以看到一个设置面板，在这里您可以选择要用于处理 PDF 的 VLM 模型。做出选择后，我们上传一个 PDF，系统会提示我们开始编制索引。索引完成后，您只需输入有关 PDF 的问题，模型就会根据内容生成正确的相关回复。

由于这种设置需要 GPU 才能获得最佳性能，因此我分享了一个 ，其中实现了整个模型。你只需要一个模型 API 密钥（如 Gemini、OpenAI 或其他）和一个用于公开托管应用程序的 Ngrok 密钥。

视觉 RAG 代表着人工智能从复杂的多模态数据中理解和生成知识的能力的重大飞跃。随着我们采用视觉 RAG 模型，我们可以期待更智能、更快速、更准确的解决方案，真正利用我们周围丰富的信息。它为教育、医疗保健等领域带来了新的可能性。现在，人工智能不仅能读取信息，还能像人类一样观察和理解世界，从而释放出创新和洞察的潜力。