我要投稿

吃瓜Llama3-V之余，看多模态大模型架构演变！

发布日期：2024-06-03 18:05:06 浏览次数： 3104

作者：PaperAgent

微信搜一搜，关注“PaperAgent”

今天最大的瓜莫过于：斯坦福 Llama3-V PK 清华 MiniCPM-Llama3-V-2.5，详细证据：

https://github.com/OpenBMB/MiniCPM-V/issues/196

吃瓜之余，来看一下多模态大模型架构演变！

一篇优秀的论文综述了多模态AI架构——包含了一个全面的分类法和对任意到任意模态模型发展的分析。

? 综合分类法：首次明确识别并分类四种广泛的多模态架构类型（A型、B型、C型、D型），有助于简化对模型架构的理解和选择。

? 比较分析：对每种架构类型的优势和劣势进行了详细审查，考虑了训练数据、计算需求、可扩展性和模态整合。

? 任意到任意模态模型：突出了构建任意到任意模态模型所涉及的主要架构类型，有助于模型的选择和发展。

综合分类法

按四种提出的架构类型分组的多模态模型发展时间线

多模态模型架构的分类。四种不同类型的多模态架构及其子类型被概述。各种模型被系统地分类到类型和子类型中。深度融合：类型A和类型B在模型的内部层融合多模态输入。早期融合：类型C和类型D在输入阶段促进融合。类型A使用标准的交叉注意力机制，而类型B则利用定制设计的交叉注意力或专门的层。类型C是一种非标记化的多模态模型架构，而类型D则采用输入标记化（离散标记）。SCDF：基于标准交叉注意力的深度融合。CLDF：基于定制层的深度融合。NTEF：非标记化的早期融合。TEF：标记化的早期融合。

比较分析

Type-A (SCDF：Standard Cross-Attention based Deep Fusion) - 标准交叉注意力深度融合：使用标准的交叉注意力层在模型的内部层进行多模态输入的深度融合。这种类型可能在自注意力层之前或之后添加交叉注意力层。

类型A多模态模型架构。输入模态通过使用标准交叉注意力层深入融合到LLM的内部层。交叉注意力可以添加在自注意力层之前或之后。模态特定的编码器处理不同的输入模态。使用重采样器来输出固定数量的模态（视觉/音频/视频）标记，给定输入时变量数量的输入标记。

Type-B (CLDF：Custom Layer based Deep Fusion) - 自定义层深度融合：使用定制设计的层（例如自定义交叉注意力层或其他特定层）在模型的内部层进行多模态输入的深度融合。

类型B多模态模型架构。输入模态通过使用定制设计的层深入融合到LLM的内部层。定制交叉注意力层或其他定制层用于模态融合。线性层/多层感知器/Q-former被用来将不同模态与解码层对齐。

Type-C (NTEF：Non-Tokenized Early Fusion) - 非标记化早期融合：在模型的输入阶段进行多模态输入的早期融合，使用模态特定的编码器，但不涉及模型内部层的深度融合。这种类型可能使用线性层/MLP、Q-former、Perceiver resampler或自定义可学习层来连接编码器输出和LLM。

类型C多模态模型架构。（非标记化的）输入模态直接输入到模型的输入端，而不是其内部层，从而实现早期融合。不同类型的模块被用来将模态编码器的输出连接到LLM（模型），例如线性层/多层感知器、Q-former和线性层/多层感知器、Perceiver重采样器、定制的可学习层。

Type-D (TEF：Tokenized Early Fusion ) - 标记化早期融合：与Type-C类似，在输入阶段进行早期融合，但使用标记化技术（如tokenizers）来处理模态。

类型D多模态模型架构。标记化的输入模态直接输入到模型的输入端。在这个架构中，使用仅解码器变换器或编码器-解码器风格的变换器作为多模态变换器。

任意到任意模态模型

任意到任意多模态模型的发展时间线。从单一模态模型（左侧）到任意到任意模态模型（右侧）的演变过程被描绘出来。图中注明了属于C型和D型的任意到任意多模态模型。底部的绿线展示了非基于变换器的模型（如SSM，状态空间模型）的另一条发展时间线。Mamba是一个语言模型。VL-mamba和Cobra是视觉-语言模型。

https://arxiv.org/pdf/2405.17927The Evolution of Multimodal Model Architectures

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-07-30

WAIC-Day3: 谈谈Agent场景及Agent OS基础设施

2025-07-30

微软进军 AI 浏览器，维持巨头的平庸

2025-07-30

Higress ，助力企业构建私有 AI 网关和 MCP 市场

2025-07-30

刚刚，OpenAI给大学生做了个新外挂！ChatGPT一键变老师，免费可用

2025-07-30

突发！字节跳动发布同声传译大模型Seed LiveInterpret2.0，是首个延迟与准确率接近人类水平的中英语音同传系统！

2025-07-30

OpenAI深夜发布ChatGPT Study：免费AI家教，彻底颠覆传统教育

2025-07-29

AI+合同审查落地分享（下-1- 合同智能审查）

2025-07-29

AI 应用开发，还需要意图识别吗？

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

DeepSeek R1-0528 小版本升级

2025-05-29

高效 Agents 构建指南

2025-05-23

SpringAI Alibaba实战文生图、聊天记忆功能

2025-06-01

忽视小模型和知识库，企业AI应用必将是死路一条

2025-05-07

从RAG到CoT再到MCP，一文读懂AI Agent落地难题｜大模型研究

2025-05-07

CAG 与 RAG：哪种方法能带来性能更好的人工智能

2025-05-07

AIGC合规落地全景图 | 如何做好AIGC数据合规

2025-06-07

精|知识探索新范式：深度研究Deep Research智能体全面综述，系统、方法与应用

2025-06-21

别再被MCP协议绕晕！一文搞懂连接流程与核心架构

2025-06-12

2025-05-20

大家都在问

AI 应用开发，还需要意图识别吗？

2025-07-29

AI还有哪些机会？你是否适合切入？

2025-07-29

Cursor Meetup 杭州站分享实录：小团队如何用 AI 撑起万级日活产品？

2025-07-28

独家｜对话夸克AI眼镜宋刚：如何把整个阿里巴巴塞进一副眼镜里？

2025-07-27

如何用 AI 翻译实现文档多语言支持的周级敏捷响应？

2025-07-27

面向 AI Agent 的搜索服务，小宿科技有机会成为百亿美金的新巨头吗？

2025-07-25

AI 基础知识从 0.3 到 0.4——如何选对深度学习模型？

2025-07-24

任务紧急，CodeBuddy是如何成为“第二双手”的？

2025-07-24

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB