AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


大模型能看懂图片的弦外之音吗?多模态大模型新基准II-Bench
发布日期:2024-06-14 04:40:38 浏览次数: 1927


背景引入

在人工智能飞速发展的今天,大模型的感知能力已经达到了令人惊叹的水平。但是,它们真的能够像人类一样,洞悉图片中的深层含义吗?为了探讨多模型大模型与人类的差距,来自中科院深圳先进院,M-A-P,华中科技大学,零一万物,滑铁卢大学等多家机构联合提出了首个用于评估多模态大模型(MLLMs)图像隐喻理解能力的综合性基准测试II-Bench。

在多模态大模型(MLLMs)的世界中,图像隐喻理解(Image Implication Understanding) 正成为一个全新的挑战。图像隐喻理解不仅仅是识别图像中的物体,它要求模型具备多跳逻辑推理能力和心智理论(ToM),这是属于人类的高级认知能力。与简单的图像理解任务相比,图像隐喻理解要求模型能够捕捉到图像中的隐喻、象征以及细微的情感表达,这无疑是对MLLMs的一次严峻考验。

II-Bench

为了全面评估MLLMs的高级感知能力,研究团队精心打造了II-Bench数据集。从20,150张原始图片中,经过三阶段严格的数据筛选流程——图像去重、文本与图像比例控制以及人工审核,最终我们得到了1,222张图片和1,434个问题。

II-Bench覆盖了生活、艺术、社会、心理、环境等六大领域,图片类型包括插画、梗图、海报、漫画、Logo和绘画等。这种跨领域和跨类别的设计,使得对模型的理解和推理能力的评估更加客观和全面。

实验

研究团队在II-Bench上对20种MLLMs进行了广泛的实验。实验设置了不同的提示方式,包括思维链CoT,多样本学习,图像关键词等,以评估模型在不同条件下的表现。

评测结果

实验结果显示:

1.MLLMs在图像含义理解方面与人类存在显著差距。模型的最高准确率仅为74.8%,而人类的平均准确率高达90%,最佳表现甚至达到了98%。

2.此外,闭源模型通常优于开源模型,但领先闭源模型与领先开源模型之间的性能差距微乎其微,仅为1%左右。

3.在不同领域的表现上,模型在艺术和心理等包含抽象和复杂信息的领域表现较差,而在环境、生活、社会等其他领域表现较好。

4.当在提示中加入图像的情感倾向信息时,模型的得分普遍提高,这表明模型在图像情感理解方面存在不足,容易导致对隐含意义的误解。

5.思维链(CoT)和多样本学习对模型在II-Bench的得分提升上无明显效果。

6.MLLMs对于难度的感知和人类是对齐的,但是对于隐含情感的感知和人类相悖,相比中立和负面情感模型在正面隐喻情感上的表现更好。

错误分析

研究人员对GPT-4V在II-Bench上的错误进行了深入分析,错误类型包括隐喻理解错误、细节理解错误、细节忽略、表面层次理解、推理错误、拒绝回答和答案提取错误。

GPT-4V最常见的错误类型是隐喻理解错误,占比高达36%。这种错误表明,尽管MLLMs在表面级别的图像识别上表现出色,但当涉及到图像中的隐喻和象征性含义时,它们的理解能力仍然有限。这可能是因为隐喻通常需要对文化背景和情境有深刻的理解,而MLLMs可能缺乏这种深层次的语义关联能力。

同时,占比12%的推理错误表明,在需要复杂逻辑和多步骤推理的任务中,MLLMs的性能不足,这反映了模型在处理高级认知任务时的局限性。

总结

最后简单总结一下,II-Bench是一个旨在评估多模态大模型(MLLMs)在图像隐喻理解方面的综合性基准测试。II-Bench的广度体现在其精心构建的包含1,222张图片和1,434个问题的数据上,这些问题覆盖了生活、艺术、社会、心理、环境等六大领域。

评估结果揭示了当前MLLMs在图像含义理解方面与人类相比存在显著差距。II-Bench的目标是衡量MLLMs在高级感知、推理和理解能力方面的进展,并在未来将继续扩展其所涵盖的领域和任务类型。研究人员相信,II-Bench将进一步激发MLLMs的研究和开发,推动人工智能在图像情感理解、隐喻识别和深层次含义推断等高级认知任务上的发展,使得人们能够更接近实现具有高级心智理论(ToM)的真正智能的多模态系统。


53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询