AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


遥遥无期的GPT-5与强势发布的Claude 3.5 Sonnet!附详细解读和使用方法
发布日期:2024-06-21 06:36:09 浏览次数: 2333


天下苦OpenAI久矣。2023年3月14日,OpenAI高调发布了令所有人眼前一亮的AI模型GPT-4GPT-4模型出道即巅峰,这也造就了我在《关于OpenAI和ChatGPT,你不知道的5组数据!》一文中提到的几个重磅数据,ChatGPT发布5天用户数就突破了100万;两个月用户数突破1亿;OpenAI年化营收半年内翻倍至34亿美元(约246亿人民币)。然而,一年多过去了,除了在GPT-4基础上更新了几个版本(包括2024年5月13日发布的GPT-4o),无数人心目中期盼的GPT-5模型迟迟没能发布。甚至连吊足了胃口的文本转视频模型Sora和GPT-4o的实时语音对话功能也是一“鸽”再“鸽”。

然而,在这个强敌环伺的AI领域,OpenAI的竞争对手可不会原地踏步,Anthropic就是其中最具代表性的强有力的对手之一。先是在2024年3月14日,Anthropic推出了在真正意义上足以和GPT-4模型抗衡的Claude 3系列模型。其次,在短短3个多月后的今天(6月20日),Anthropic再次重磅发布了Claude 3的升级版模型:Claude 3.5 Sonnet

关于Claude 3.5 Sonnet

在开始解读Claude 3.5 Sonnet模型前,有必要先讲一下Claude 3系列模型。Claude 3模型是一个系列的统称,共分为三个版本:Claude 3 HaikuClaude 3 Sonnet和最为出名的Claude 3 Opus。这三个AI模型的“智商”依次递增,但成本也依次递增,其中Claude 3 Opus模型在发布不久后就超越GPT-4登顶了LMSYS Leaderboard大模型排行榜。

Anthropic今天发布的Claude 3.5 Sonnet就是Claude 3 Sonnet模型的一个升级版本。据Anthropic官方表示,这是即将面世的Claude 3.5系列模型的首发之作。

Claude 3.5 Sonnet raises the industry bar for intelligence, outperforming competitor models and Claude 3 Opus on a wide range of evaluations, with the speed and cost of our mid-tier model, Claude 3 Sonnet.

Anthropic是这样描述Claude 3 Sonnet的“智商”(能力)的。行业标杆,超越竞争对手和Claude 3 Opus,保持了中档模型的响应速度和成本,这几个关键词简直把科技爱好者们的期待感拉满了。尽管Anthropic官方并没有明确表示超越了哪个竞争对手,但大家心里应该都清楚,“此时无声胜有声”。

AI模型“智商”的新标杆和翻倍的速度

以下是Claude 3.5 Sonnet在各项AI模型基准测试中的表现,以及与其他竞争对手模型的对比,包括:Claude 3 Opus、OpenAI的GPT-4o、谷歌的Gemini 1.5 Pro以及Meta的Llama-400b,这些模型都是目前这几家竞争对手公司的当家模型。

总结来看,Claude 3.5 Sonnet在各项测试中表现出色,尤其在研究生水平推理、本科水平知识掌握、编程能力和多语言数学等方面,均超越了前代模型和竞争对手,可以说是稳稳地打败了其他对比模型。仅在数学问题解决这一项测评中的结果略低于GPT-4o,其他测评的表现可谓是相当亮眼。

并且,Anthropic官方表示,Claude 3.5 Sonnet在把握细微差别、幽默感和复杂指令方面都有明显进步,在以自然、亲切的语气撰写高质量内容方面也很出色。

响应速度方面,Claude 3.5 Sonnet的速度是Claude 3 Opus的两倍。这种性能提升,加上具有成本效益的定价,使得Claude 3.5 Sonnet非常适合用于复杂任务,比如情景敏感的客户支持和多步骤工作流(multi-step workflow)的编排。响应速度这一点可以看作是对GPT-4o模型的一个回应,因为GPT-4o模型的一大特点也同样是极快的响应速度——GPT-4o的速度同样是GPT-4 Turbo模型的两倍。

详细解读

1. 研究生水平推理(GPQA, Diamond)这个测试用来评估模型在研究生水平上的推理能力。Claude 3.5 Sonnet在零样本推理(0-shot CoT)中取得了59.4%的成绩,而Claude 3 Opus的成绩是50.4%,GPT-4o的成绩是53.6%。

2. 本科水平知识(MMLU)MMLU测试评估模型在本科水平上的知识掌握情况。Claude 3.5 Sonnet在五次样本测试中取得了88.7%的高分,在零样本推理中也达到了88.3%,明显优于Claude 3 Opus的85.7%,与GPT-4o的88.7%基本持平。

3. 编程能力(HumanEval)这个测试衡量模型解决编程问题的能力。Claude 3.5 Sonnet在零样本情况下解决了92.0%的问题,优于Claude 3 Opus的84.9%和GPT-4o的90.2%。

4. 多语言数学(MGSM)MGSM测试模型在多种语言环境下解决数学问题的能力。Claude 3.5 Sonnet在零样本推理中取得了91.6%的成绩,略高于Claude 3 Opus的90.7%和GPT-4o的90.5%。

5. 文本推理(DROP, F1 score)这个测试用来评估模型在文本推理任务中的表现。Claude 3.5 Sonnet在三次样本测试中取得了87.1%的高分,超过了Claude 3 Opus的83.1%和GPT-4o的83.4%。

6. 综合评估(BIG-Bench-Hard)BIG-Bench-Hard是一个综合评估模型在多个领域能力的测试。Claude 3.5 Sonnet在三次样本推理中达到了93.1%的成绩,远超Claude 3 Opus的86.8%。

7. 数学问题解决(MATH)这个测试评估模型解决数学问题的能力。Claude 3.5 Sonnet在零样本推理中取得了71.1%的成绩,优于Claude 3 Opus的60.1%,但略低于GPT-4o的76.6%。

8. 小学数学(GSM8K)GSM8K测试模型在小学数学问题上的表现。Claude 3.5 Sonnet在零样本推理中取得了96.4%的成绩,略高于Claude 3 Opus的95.0%。

强大的多模态能力

多模态能力是另一个AI模型的“兵家必争之地”,它能够直接体现一个AI模型对于除文字以外的内容(如文档、图片、语音等)的理解能力。而优秀的理解能力是好的执行和输出的前提条件,所以多模态能力对于模型来说是至关重要的一环。

Claude 3.5 Sonnet是Claude家族迄今为止最强大的视觉模型(vision model),在标准视觉基准测试中超越了Claude 3 Opus。这些显著的改进在需要视觉推理的任务中尤为明显,比如解释图表和图形。Claude 3.5 Sonnet还能准确地从不完美的图像中转录文本,这在零售、物流和金融服务等领域尤为重要,因为在这些领域,AI从图像、图形或插图中获得的信息往往比从文本中更多。

从标准化的视觉基准测试中可以看到,Claude 3.5 Sonnet在多个视觉任务的测试中表现出色,尤其在视觉数学推理、科学图表理解和图表问答等方面,均超越了前代模型和部分竞争对手。

详细解读

1. 视觉数学推理(Visual math reasoning, MathVista)这个测试用来评估模型在视觉数学推理上的能力。Claude 3.5 Sonnet在零样本推理(0-shot CoT)中取得了67.7%的成绩,显著优于Claude 3 Opus的50.5%和Gemini 1.5 Pro的63.9%。

2. 科学图表(Science diagrams, AI2D)AI2D测试评估模型对科学图表的理解和解释能力。Claude 3.5 Sonnet在零样本情况下取得了94.7%的高分,超过了Claude 3 Opus的88.1%和GPT-4o的94.2%。

3. 视觉问答(Visual question answering, MMMU)这个测试用来评估模型在视觉问答任务中的表现。Claude 3.5 Sonnet在零样本推理中达到了68.3%的成绩,优于Claude 3 Opus的59.4%和Gemini 1.5 Pro的62.2%。略低于GPT-4o的69.1%。

4. 图表问答(Chart Q&A, Relaxed accuracy)这个测试评估模型在解释和回答图表问题上的能力。Claude 3.5 Sonnet在零样本推理中取得了90.8%的成绩,超过了Claude 3 Opus的80.8%和GPT-4o的85.7%。

5. 文档视觉问答(Document visual Q&A, ANLS score)ANLS测试评估模型在处理文档视觉问答任务中的表现。Claude 3.5 Sonnet在零样本情况下取得了95.2%的高分,显著高于Claude 3 Opus的89.3%和Gemini 1.5 Pro的93.1%。

Artifacts——使用Claude的新方式

除了Claude 3.5 Sonnet的发布,Anthropic在Claude AI平台上推出了一项新功能——Artifacts,这个新功能扩展了用户与Claude互动的方式。当用户请求Claude生成内容如代码片段、文本文档或网站设计时,这些Artifacts(中文可译为:成果、生成物)会在对话窗口旁的专用窗口中显示。这样创建了一个动态的工作空间,用户可以实时查看、编辑和构建Claude的创作内容,轻松将AI生成的内容整合到他们的项目和工作流程中。

从更深层次的角度来看,Artifacts这一预览功能标志着Claude从对话型AI向协作工作环境的演变。Anthropic官方表示这只是Claude更广阔愿景的一个开始,不久之后将扩展到支持团队协作。在不久的将来,团队乃至整个组织将能够安全地将他们的知识、文档和正在进行的工作集中到一个共享空间,而Claude则作为随叫随到的团队伙伴,为他们提供支持。(不得不说,Claude这个饼画的还是挺大的。OpenAI和Anthropic都在努力争夺企业端的客户。)

如何使用Claude 3.5 Sonnet

接下来聊一聊小伙伴们比较关心的如何使用最新的Claude 3.5 Sonnet模型及其API价格。

  • 免费使用

    • 在Claude.ai上免费使用
    • 在Claude iOS app免费使用
  • 高级订阅

    • Claude Pro和团队计划订阅用户可享受更高的使用速率限制
  • Claude API访问

    • 可通过Anthropic API使用
    • 可通过Amazon Bedrock使用
    • 可通过Google Cloud的Vertex AI使用
  • Claude 3.5 SonnetAPI价格

    • 每百万输入tokens 3美元
    • 每百万输出tokens 15美元
    • 支持200K tokens的上下文窗口

值得一提的是,Claude 3.5 SonnetAPI的这个价格仅仅是Claude 3 OpusAPI的五分之一!

即将推出

Anthropic官方表示将会不断优化“智商”、速度和成本之间的平衡。作为Claude 3.5系列模型的补充,将在今年晚些时候发布Claude 3.5 HaikuClaude 3.5 Opus模型。

除了开发新一代模型,Anthropic还正在构建新的模式和功能,以支持更广泛的应用案例,比如Memory等新功能,这将赋予Claude记忆用户偏好和交互历史的能力,从而提供更加个性化和高效率的用户体验。(这一点ChatGPT已经基本实现了,Claude加油。)

Claude 3.5 Sonnet邮件通知全文



53AI,企业落地应用大模型首选服务商

产品:大模型应用平台+智能体定制开发+落地咨询服务

承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

与创始人交个朋友

回到顶部

 
扫码咨询