OpenAI重磅发布跨模态实时推理模型GPT-4o

发布日期：2024-05-14 03:05:58 浏览次数： 2901

作者：知识图谱科技

微信搜一搜，关注“知识图谱科技”

GPT-4o（“o”代表“全能”）是迈向更自然人机交互的一步——它可以接受文本、音频和图像的任意组合作为输入，并生成文本、音频和图像的任意组合作为输出。它可以在232毫秒内响应音频输入，平均320毫秒，这与对话中的人类响应时间类似。它与英语和代码的文本上的GPT-4 Turbo性能相匹配，对于非英语语言的文本有了显著的改进，同时在API中也更快且便宜50%。与现有模型相比，GPT-4o在视觉和音频理解方面特别优秀。

模型能力

在 GPT-4o 之前，你可以使用“语音模式”与 ChatGPT 进行交流，平均延迟为 2.8 秒（GPT-3.5）和 5.4 秒（GPT-4）。为了实现这一点，“语音模式”是一个由三个分离模型组成的流程：一个简单的模型将音频转写为文本，GPT-3.5 或 GPT-4 接受文本并输出文本，然后第三个简单模型将文本转回音频。这个过程意味着主要的智能来源 GPT-4 丢失了很多信息 —— 它无法直接观察到语调、多个说话者或者背景噪音，也无法输出笑声、歌唱或表达情感。

通过 GPT-4o，我们训练了一个全新的模型，端到端地处理文本、视觉和音频，这意味着所有的输入和输出都由同一个神经网络处理。因为 GPT-4o 是我们首个结合所有这些模态的模型，我们仍然只是在初步探索这个模型的能力和限制。

功能的探索

模型评估

以传统基准测试为衡量标准，GPT-4o在文本、推理和编码智能方面达到了GPT-4 Turbo级别的性能，并在多语言、音频和视觉能力上设定了新的高水平。

改进的推理 - GPT-4o 在5轮训练的MMLU（普通知识问题）上创造了87.2％的新纪录。（注：Llama3 400b（新窗口打开）仍在训练中）

音频ASR性能——GPT-4o在所有语言中都显著提高了语音识别性能，尤其是对于资源较少的语言。

音频翻译性能- GPT-4o 在语音翻译方面达到了最新的技术水平，并且在MLS基准测试中表现优于Whisper-v3。

M3Exam - M3Exam基准是一个多语言和视觉评估，包括其他国家标准化测试中的多项选择题，有时包含图表和图表。在此基准上，GPT-4o在所有语言上比GPT-4更强大。（我们对斯瓦希里语和爪哇语的视觉结果进行了省略，因为这些语言的视觉问题只有5个或更少。）

视觉理解评估 - GPT-4o 在视觉感知基准测试中实现了最先进的性能。

语言切分

选择这20种语言作为新的切分器在不同语言家族之间的压缩代表

模型的安全性和限制

GPT-4o在设计中通过各种技术（如训练数据筛选和后期训练中优化模型行为）跨模态具备了内置安全功能。我们还创建了新的安全系统，以提供对语音输出的防护措施。

我们根据我们的“准备框架”和我们的自愿承诺对GPT-4o进行了评估。我们在网络安全、化学、生物、放射性、影响力和模型自主性方面的评估表明，GPT-4o在任何这些类别中都不会得分高于中等风险。这项评估涉及在模型训练过程中运行了一系列自动化和人工评估。我们测试了模型先进行安全缓解和后进行安全缓解的版本，并使用自定义的精细调整和提示，以更好地引出模型的能力。

GPT-4o还经历了与超过70个社会心理学、偏见和公平性以及误导等领域的外部专家进行广泛的外部红队测试，以确定新添加的模态引入或放大的风险。我们利用这些经验来完善我们的安全干预措施，以提高与GPT-4o的交互安全性。我们将继续消除新发现的风险。

我们承认GPT-4o的音频模态存在各种新风险。今天，我们公开发布文本和图像输入以及文本输出。在接下来的几个星期和几个月里，我们将致力于开发其他模态所需的技术基础设施、后期培训的可用性以及安全性。例如，在推出时，音频输出将仅限于一些预设音频，同时遵守我们现有的安全政策。我们将在即将发布的系统卡片中分享更多细节，涵盖GPT-4o的全部模态范围。

在与模型的测试和迭代过程中，我们观察到存在一些限制，这些限制跨越了模型的所有模态，以下是其中的几个例子。我们希望收到反馈，以帮助确定GPT-4 Turbo仍然优于GPT-4o的任务，这样我们就可以继续改进模型。