微信扫码
与创始人交个朋友
我要投稿
在人工智能飞速发展的今天,大模型的感知能力已经达到了令人惊叹的水平。但是,它们真的能够像人类一样,洞悉图片中的深层含义吗?为了探讨多模型大模型与人类的差距,来自中科院深圳先进院,M-A-P,华中科技大学,零一万物,滑铁卢大学等多家机构联合提出了首个用于评估多模态大模型(MLLMs)图像隐喻理解能力的综合性基准测试II-Bench。
在多模态大模型(MLLMs)的世界中,图像隐喻理解(Image Implication Understanding) 正成为一个全新的挑战。图像隐喻理解不仅仅是识别图像中的物体,它要求模型具备多跳逻辑推理能力和心智理论(ToM),这是属于人类的高级认知能力。与简单的图像理解任务相比,图像隐喻理解要求模型能够捕捉到图像中的隐喻、象征以及细微的情感表达,这无疑是对MLLMs的一次严峻考验。
为了全面评估MLLMs的高级感知能力,研究团队精心打造了II-Bench数据集。从20,150张原始图片中,经过三阶段严格的数据筛选流程——图像去重、文本与图像比例控制以及人工审核,最终我们得到了1,222张图片和1,434个问题。
II-Bench覆盖了生活、艺术、社会、心理、环境等六大领域,图片类型包括插画、梗图、海报、漫画、Logo和绘画等。这种跨领域和跨类别的设计,使得对模型的理解和推理能力的评估更加客观和全面。
研究团队在II-Bench上对20种MLLMs进行了广泛的实验。实验设置了不同的提示方式,包括思维链CoT,多样本学习,图像关键词等,以评估模型在不同条件下的表现。
实验结果显示:
1.MLLMs在图像含义理解方面与人类存在显著差距。模型的最高准确率仅为74.8%,而人类的平均准确率高达90%,最佳表现甚至达到了98%。
2.此外,闭源模型通常优于开源模型,但领先闭源模型与领先开源模型之间的性能差距微乎其微,仅为1%左右。
3.在不同领域的表现上,模型在艺术和心理等包含抽象和复杂信息的领域表现较差,而在环境、生活、社会等其他领域表现较好。
4.当在提示中加入图像的情感倾向信息时,模型的得分普遍提高,这表明模型在图像情感理解方面存在不足,容易导致对隐含意义的误解。
5.思维链(CoT)和多样本学习对模型在II-Bench的得分提升上无明显效果。
6.MLLMs对于难度的感知和人类是对齐的,但是对于隐含情感的感知和人类相悖,相比中立和负面情感模型在正面隐喻情感上的表现更好。
研究人员对GPT-4V在II-Bench上的错误进行了深入分析,错误类型包括隐喻理解错误、细节理解错误、细节忽略、表面层次理解、推理错误、拒绝回答和答案提取错误。
GPT-4V最常见的错误类型是隐喻理解错误,占比高达36%。这种错误表明,尽管MLLMs在表面级别的图像识别上表现出色,但当涉及到图像中的隐喻和象征性含义时,它们的理解能力仍然有限。这可能是因为隐喻通常需要对文化背景和情境有深刻的理解,而MLLMs可能缺乏这种深层次的语义关联能力。
同时,占比12%的推理错误表明,在需要复杂逻辑和多步骤推理的任务中,MLLMs的性能不足,这反映了模型在处理高级认知任务时的局限性。
最后简单总结一下,II-Bench是一个旨在评估多模态大模型(MLLMs)在图像隐喻理解方面的综合性基准测试。II-Bench的广度体现在其精心构建的包含1,222张图片和1,434个问题的数据上,这些问题覆盖了生活、艺术、社会、心理、环境等六大领域。
评估结果揭示了当前MLLMs在图像含义理解方面与人类相比存在显著差距。II-Bench的目标是衡量MLLMs在高级感知、推理和理解能力方面的进展,并在未来将继续扩展其所涵盖的领域和任务类型。研究人员相信,II-Bench将进一步激发MLLMs的研究和开发,推动人工智能在图像情感理解、隐喻识别和深层次含义推断等高级认知任务上的发展,使得人们能够更接近实现具有高级心智理论(ToM)的真正智能的多模态系统。
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-10-06
Multi-Agent架构:探索AI协作的新纪元
2024-10-06
AI大模型:你不得不知道的两个致命缺陷
2024-10-05
2024年OpenAI DevDay发布实时 API、提示缓存等新功能
2024-10-05
LLM Agent的构成、技术与挑战
2024-10-05
OpenAI重磅发布Canvas:跟ChatGPT一起写作编程
2024-10-05
OpenAI爆料!GPT-5参数将达17万亿,GPT-6规模增加百倍
2024-10-02
Sam Altman回顾OpenAI 开发者日:AGI之路更清晰了
2024-10-02
ChatGPT实时语音将于本周向免费用户推出:OpenAI DevDay 2024详细解读
2024-03-30
2024-07-18
2024-04-26
2024-05-06
2024-04-11
2024-06-12
2024-07-09
2024-05-09
2024-07-25
2024-08-21