智谱开源新一代多模态大模型CogVLM2，性能媲美GPT-4V

前言

多模态大模型（MLLM）是近年来人工智能领域最热门的研究方向之一，其能够融合图像、文本等多种模态信息，实现更强大、更灵活的应用。然而，现有的主流多模态模型多以英文为训练语言，在中文理解方面存在着明显的短板。为了突破这一局限，智谱 AI 团队推出了新一代中文多模态大模型 CogVLM2，并将其开源，为中文多模态领域的发展贡献力量。

技术特点

CogVLM2 继承并优化了上一代模型的经典架构，采用了一个拥有 50 亿参数的强大视觉编码器，并创新性地在大语言模型中整合了一个 70 亿参数的视觉专家模块。这一模块通过独特的参数设置，精细地建模了视觉与语言序列的交互，确保了在增强视觉理解能力的同时，不会削弱模型在语言处理上的原有优势。这种深度融合的策略，使得视觉模态与语言模态能够更加紧密地结合。

核心优势

• 深度融合： 视觉专家模块深度融合于语言模型中，实现视觉与语言的深度交互，提升多模态理解能力。

• 高效推理： 尽管总参数量为 190 亿，但实际推理时仅激活约 120 亿参数，提高了推理效率。

• 高分辨率支持： 支持高达 1344 分辨率的图像输入，提升了对高分辨率图像的处理能力。

• 中英文双语支持： 提供支持中英文双语的开源模型版本，扩展了模型的应用范围。

CogVLM2 的性能表现

为了更为严格地验证 CogVLM2 的性能和泛化能力，智谱 AI 团队在一系列多模态基准上进行了定量评估。这些基准包括 TextVQA、DocVQA、ChartQA、OCRbench、MMMU、MMVet、MMBench 等，涵盖了图像文本理解、OCR、图表理解、跨学科推理等多个方面。

测试结果表明

• CogVLM2 在多个基准测试中取得了 SOTA 性能，性能接近或超过了 GPT-4V，例如在 OCRbench 基准上性能提升 32%，在 TextVQA 基准上性能提升 21.9%。

• 在处理中文任务方面，CogVLM2 展现出了更强大的能力，能够更准确地理解中文文本和图像，并生成符合中文语境的答案。

应用场景

CogVLM2 具有广泛的应用场景，包括：

• 图像理解和生成： 可以用于图像描述、图像问答、图像生成等任务，例如根据文本描述生成图像，或回答与图像内容相关的问题。

• OCR： 可以用于识别图像中的文字，并进行文本理解和问答。

• 图表理解： 可以用于分析图表中的数据，并回答与图表相关的问题。

• 跨学科推理： 可以用于处理需要多学科知识的复杂任务，例如科学问题解答、数学问题求解等。

• 示例：

总结

CogVLM2 的开源标志着中文多模态领域迈上了新的台阶，为中文多模态模型的发展提供了重要参考。随着技术的不断进步，相信未来 CogVLM2 会在更多领域发挥重要的作用，为人们的生活带来更多的便利和乐趣。