我要投稿

一个新开源框架，视觉RAG系统的4层境界！

发布日期：2024-09-29 17:28:09 浏览次数： 2363

作者：探索AGI

微信搜一搜，关注“探索AGI”

今天给大家分享一个开源框架，之前分享过一个使用QwenVL来构建的RAG系统脚本。这2天刷网页，看到一个仓库囊括了以视觉出发的RAG几层境界，并且都开源了相关colab notebook可执行代码，所以再次安利给家人们~

Level 1：Simple RAG (with OCR)

与naive RAG系统类似，不过多了OCR环节，因此它可以应付扫描件之类的pdf场景。

Level2: Vision RAG

一种比较常见的模式，使用一些跨模态的向量模型如Clip，文本和图像都被编码到共享向量空间中。检索回相关的图片之后，可以使用VL模型分析，或者解析成文本均可。

Vision RAG 对于文档分析任务特别有用，因为一些视觉组件（如图形、图表）与文本内容同样重要。

Level3: ColPali RAG

ColPali RAG 是一个新方法，利用了 Google 的视觉大模型 PaliGemma，将整个文档页面编码为香莲，将页面布局和视觉元素视为检索过程的一部分。

通过在用户query和文档patchs之间使用token级匹配来增强检索。这种方法确保了较高的检索准确性，同时还保持了合理的索引和查询速度。

它对于富含视觉效果的文档特别有用，例如信息图表、表格和复杂布局，而传统的基于文本的检索方法在这些文档中比较难处理。

当然ColPali的性能也是非常慢的

Level4: Hybrid ColPali RAG

这个是本项目命名的一个名字，他将Level2的向量检索进行粗召回，利用Level3的Colpali进行交互式精排。使得整个系统的推理耗时得到保证，当文档包含复杂的视觉信息和文本混合时，这种方法比较有用，允许系统利用这两种内容类型进行高度准确的文档检索。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-02-25

AI Agent系列｜深入了解智能体工作流核心：Agent vs 传统编程 vs Workflow 的本质区别

2026-02-24

OpenClaw 全球最火的AI助手，到底是什么神仙？

2026-02-23

OpenClaw背后的英雄Pi-mono

2026-02-22

GLM-5 技术报告全解读｜a16z：“最好的开源模型”

2026-02-22

AI创业半年复盘：开源我踩过的坑。

2026-02-22

OpenClaw源码解读系列：自动回复管线

2026-02-22

OpenClaw源码解读系列：插件系统

2026-02-22

如何在Mac mini M4上为OpenClaw接入iMessage

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Clawdbot 完整安装教学：2026 年最火的开源AI 个人助理

2026-01-27

给自己搭一个 AI 搭档：OpenClaw 安装使用全记录

2026-02-06

Clawdbot 深度拆解： 7 个问题看懂它。

2026-01-29

重磅开源！Kimi K2.5 本地部署全攻略：手把手教你跑通 1T MoE 巨兽

2026-01-30

SkillsMP：一个聚合了 5 万+ AI Agent 技能的开源社区

2026-01-12

一文彻底看懂 Google 最新开源 A2UI 协议：如何让 AI Agent “说出UI” ？

2025-12-22

实测Kimi K2.5，这是一款厌丑的开源模型

2026-01-27

ClawdBot 火爆全网，手把手教你如何部署，还能直接用钉钉操作！

2026-01-28

豆包手机同款AutoGLM硬核开源：AI如何用“眼睛+大脑+手”接管你手机

2025-12-10

我把Claude Code换成GLM-4.7用了6小时，我竟然没发现明显区别

2025-12-23

大家都在问

OpenClaw 全球最火的AI助手，到底是什么神仙？

2026-02-24

OpenClaw近一半用户来自中国，大家在FOMO什么？

2026-02-11

Clawdbot 如何实现像人一样的长期记忆？

2026-02-05

一夜爆火，Clawdbot是否才是真正的AI入口产品？

2026-01-28

Clawdbot爆火：Karpathy点赞的开源AI助理，到底是什么？

2026-01-26

速递 | DeepSeek突然扔出MODEL1，这到底是V4还是R2？

2026-01-21

DeepSeek-R2要来了？

2026-01-21

TranslateGemma-27B谷歌开源翻译模型有多强？

2026-01-20

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部