我要投稿

一个新开源框架，视觉RAG系统的4层境界！

发布日期：2024-09-29 17:28:09 浏览次数： 2450

作者：探索AGI

微信搜一搜，关注“探索AGI”

今天给大家分享一个开源框架，之前分享过一个使用QwenVL来构建的RAG系统脚本。这2天刷网页，看到一个仓库囊括了以视觉出发的RAG几层境界，并且都开源了相关colab notebook可执行代码，所以再次安利给家人们~

Level 1：Simple RAG (with OCR)

与naive RAG系统类似，不过多了OCR环节，因此它可以应付扫描件之类的pdf场景。

Level2: Vision RAG

一种比较常见的模式，使用一些跨模态的向量模型如Clip，文本和图像都被编码到共享向量空间中。检索回相关的图片之后，可以使用VL模型分析，或者解析成文本均可。

Vision RAG 对于文档分析任务特别有用，因为一些视觉组件（如图形、图表）与文本内容同样重要。

Level3: ColPali RAG

ColPali RAG 是一个新方法，利用了 Google 的视觉大模型 PaliGemma，将整个文档页面编码为香莲，将页面布局和视觉元素视为检索过程的一部分。

通过在用户query和文档patchs之间使用token级匹配来增强检索。这种方法确保了较高的检索准确性，同时还保持了合理的索引和查询速度。

它对于富含视觉效果的文档特别有用，例如信息图表、表格和复杂布局，而传统的基于文本的检索方法在这些文档中比较难处理。

当然ColPali的性能也是非常慢的

Level4: Hybrid ColPali RAG

这个是本项目命名的一个名字，他将Level2的向量检索进行粗召回，利用Level3的Colpali进行交互式精排。使得整个系统的推理耗时得到保证，当文档包含复杂的视觉信息和文本混合时，这种方法比较有用，允许系统利用这两种内容类型进行高度准确的文档检索。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-04-09

很多人突然不玩小龙虾而用Hermes Agent了。我替你试了，跟小龙虾到底有啥不同？

2026-04-08

开源模型首超Opus4.6！智谱GLM-5.1登场，14小时后CUDA专家被冲了

2026-04-08

探索Agentic生产力：从“被动问答”到“自主分析”

2026-04-08

GLM-5.1 又是开源 SOTA？直接做个图片改字工具验验真假！

2026-04-08

GLM-5.1 开源：零介入，交付整套的 Linux 桌面系统

2026-04-08

DeepSeek 推出快速模式和专家模式

2026-04-07

vLLM v0.19.0 来了，适配 HuggingFace v5，多模态优化，CPU KV 缓存卸载

2026-04-04

Gemma 4开源！整整一年，谷歌终于想明白了！！！

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

重磅开源！Kimi K2.5 本地部署全攻略：手把手教你跑通 1T MoE 巨兽

2026-01-30

Clawdbot 完整安装教学：2026 年最火的开源AI 个人助理

2026-01-27

SkillsMP：一个聚合了 5 万+ AI Agent 技能的开源社区

2026-01-12

Clawdbot 深度拆解： 7 个问题看懂它。

2026-01-29

实测Kimi K2.5，这是一款厌丑的开源模型

2026-01-27

OpenWork：Claude Cowork 的开源替代品

2026-01-21

ClawdBot 火爆全网，手把手教你如何部署，还能直接用钉钉操作！

2026-01-28

终于来了！首款可视化 Skills 神器开源，Claude/Cursor/Codex 一键同步！

2026-01-26

为什么你一定要用OpenCode

2026-01-23

Clawdbot爆火：Karpathy点赞的开源AI助理，到底是什么？

2026-01-26

大家都在问

很多人突然不玩小龙虾而用Hermes Agent了。我替你试了，跟小龙虾到底有啥不同？

2026-04-09

震惊！刚刚，Anthropic掀了桌子：OpenClaude横空出世，大模型闭源时代彻底终结？

2026-04-01

英伟达的NemoClaw，能帮AI代理这匹“野马”套上缰绳吗？

2026-03-17

你的 AI Agent 真的在受控运行吗？

2026-03-13

137K 行代码、零 clippy 警告：这个开源项目凭什么让 AI Agent 领域炸锅？

2026-03-02

Clawdbot 如何实现像人一样的长期记忆？

2026-02-05

一夜爆火，Clawdbot是否才是真正的AI入口产品？

2026-01-28

Clawdbot爆火：Karpathy点赞的开源AI助理，到底是什么？

2026-01-26

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean Openclaw

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部