前一阵阿里云栖大会，其中有个发布内容是全模态大模型 Qwen3-Omni。
说实话，这是我第一次真正地审视“全模态大模型”这个概念，因为之前 Qwen2.5-Omni 发布的时候，有了解过，但不多。
简介
先从概念上简单介绍下什么是“全模态大模型”。
“Qwen3-Omni是新一代原生全模态大模型，能够无缝处理文本、图像、音频和视频等多种输入形式，并通过实时流式响应同时生成文本与自然语音输出。”
多模态大模型 vs 全模态大模型
接下来，为了更好地理解，我们与“多模态大模型”做个对比。
相同点是都可以输入多种模态的内容，比如：文字、图片、视频等。
但背后的实现模式其实差距挺大的。
多模态大模型的实现是针对不同模态输入，调用不同模型进行处理，然后将各种输出进行合并输出。
而“全模态大模型”则是模型本身原生支持了多种模态的输入和输出，从更加底层的维度进行了实现。
也许有朋友会想到豆包之前推出的 AI 实时语音/视频功能，虽然和全模态大模型的效果比较类似，但实现方式并不一致。
豆包的相关功能是专门针对语音/视频场景，通过调度算法等工程手段实现的，主要采用了：
个人十分认可这种工程处理方法，但确实不算模型层面的进步。
全模态大模型的必要性
既然已经有了各种工程实现，“全模态大模型”的意义又是什么呢？
- 模态割裂，无法跨模态推理：语音识别、图像理解等模态数据是独立的，无法解决类似“视频中这个人说话时为什么皱眉？”等跨模态问题。
- 延迟高，难以支持实时强交互：数据传递、模块串联导致延迟较高，而像 Qwen3-Omni的架构可以实现 211ms 延迟。
目前已有的全模态大模型
经过查询，目前已经支持全模态大模型的主要模型有以下几个：GPT-4o、Gemini 2.5 Pro、Qwen3-Omni（此处仅列出典型产品，非全部）。
- GPT-4o：可以处理长达 2 小时的视频输入，支持100种语言的语音转文本，但对中文方言支持较弱。
- Gemini 2.5 Pro：支持多模态思维链，但在长音频处理上受限，单词仅支持10分钟录音，且语言支持较少。
- Qwen3-Omni：开源，能力接近顶尖梯队，并拥有完整的工具链和场景示例。
实战体验
这里挑选了一个我很久之前就在期望的场景，给出指令后，AI 可以直接给出图文并茂的结果。
指令
写一篇关于北京胡同的游记，包含3张插图：胡同入口全景、冰糖葫芦特写、四合院门墩
结果
可以看到输出内容，文字和图片是混排的。
这里使用 Gemini2.5 Pro 进行的体验。
相比之下，Qwen3-Omni 目前尚未开放图文混合生成能力，更多聚焦于“多模态输入 + 文本/语音输出”的流式交互场景。
结语
今天主要学习了“全模态大模型”的相关概念，虽然，目前“全模态”还比较早期，但个人认为这种整体感知、原生思考、实时响应的 AI 才是未来。
粤ICP备14082021号
免费POC，
零成本试错
