微信扫码
与创始人交个朋友
我要投稿
天下苦OpenAI久矣。2023年3月14日,OpenAI高调发布了令所有人眼前一亮的AI模型GPT-4
。GPT-4
模型出道即巅峰,这也造就了我在《关于OpenAI和ChatGPT,你不知道的5组数据!》一文中提到的几个重磅数据,ChatGPT发布5天用户数就突破了100万;两个月用户数突破1亿;OpenAI年化营收半年内翻倍至34亿美元(约246亿人民币)。然而,一年多过去了,除了在GPT-4
基础上更新了几个版本(包括2024年5月13日发布的GPT-4o
),无数人心目中期盼的GPT-5
模型迟迟没能发布。甚至连吊足了胃口的文本转视频模型Sora和GPT-4o
的实时语音对话功能也是一“鸽”再“鸽”。
然而,在这个强敌环伺的AI领域,OpenAI的竞争对手可不会原地踏步,Anthropic就是其中最具代表性的强有力的对手之一。先是在2024年3月14日,Anthropic推出了在真正意义上足以和GPT-4
模型抗衡的Claude 3
系列模型。其次,在短短3个多月后的今天(6月20日),Anthropic再次重磅发布了Claude 3的升级版模型:Claude 3.5 Sonnet
!
Claude 3.5 Sonnet
在开始解读Claude 3.5 Sonnet
模型前,有必要先讲一下Claude 3
系列模型。Claude 3
模型是一个系列的统称,共分为三个版本:Claude 3 Haiku
、Claude 3 Sonnet
和最为出名的Claude 3 Opus
。这三个AI模型的“智商”依次递增,但成本也依次递增,其中Claude 3 Opus
模型在发布不久后就超越GPT-4
登顶了LMSYS Leaderboard大模型排行榜。
Anthropic今天发布的Claude 3.5 Sonnet
就是Claude 3 Sonnet
模型的一个升级版本。据Anthropic官方表示,这是即将面世的Claude 3.5
系列模型的首发之作。
Claude 3.5 Sonnet raises the industry bar for intelligence, outperforming competitor models and Claude 3 Opus on a wide range of evaluations, with the speed and cost of our mid-tier model, Claude 3 Sonnet.
Anthropic是这样描述Claude 3 Sonnet
的“智商”(能力)的。行业标杆,超越竞争对手和Claude 3 Opus
,保持了中档模型的响应速度和成本,这几个关键词简直把科技爱好者们的期待感拉满了。尽管Anthropic官方并没有明确表示超越了哪个竞争对手,但大家心里应该都清楚,“此时无声胜有声”。
以下是Claude 3.5 Sonnet
在各项AI模型基准测试中的表现,以及与其他竞争对手模型的对比,包括:Claude 3 Opus
、OpenAI的GPT-4o
、谷歌的Gemini 1.5 Pro
以及Meta的Llama-400b
,这些模型都是目前这几家竞争对手公司的当家模型。
总结来看,Claude 3.5 Sonnet
在各项测试中表现出色,尤其在研究生水平推理、本科水平知识掌握、编程能力和多语言数学等方面,均超越了前代模型和竞争对手,可以说是稳稳地打败了其他对比模型。仅在数学问题解决这一项测评中的结果略低于GPT-4o
,其他测评的表现可谓是相当亮眼。
并且,Anthropic官方表示,Claude 3.5 Sonnet
在把握细微差别、幽默感和复杂指令方面都有明显进步,在以自然、亲切的语气撰写高质量内容方面也很出色。
响应速度方面,Claude 3.5 Sonnet
的速度是Claude 3 Opus
的两倍。这种性能提升,加上具有成本效益的定价,使得Claude 3.5 Sonnet
非常适合用于复杂任务,比如情景敏感的客户支持和多步骤工作流(multi-step workflow)的编排。响应速度这一点可以看作是对GPT-4o
模型的一个回应,因为GPT-4o
模型的一大特点也同样是极快的响应速度——GPT-4o
的速度同样是GPT-4 Turbo
模型的两倍。
1. 研究生水平推理(GPQA, Diamond)这个测试用来评估模型在研究生水平上的推理能力。Claude 3.5 Sonnet
在零样本推理(0-shot CoT)中取得了59.4%的成绩,而Claude 3 Opus
的成绩是50.4%,GPT-4o
的成绩是53.6%。
2. 本科水平知识(MMLU)MMLU测试评估模型在本科水平上的知识掌握情况。Claude 3.5 Sonnet
在五次样本测试中取得了88.7%的高分,在零样本推理中也达到了88.3%,明显优于Claude 3 Opus
的85.7%,与GPT-4o
的88.7%基本持平。
3. 编程能力(HumanEval)这个测试衡量模型解决编程问题的能力。Claude 3.5 Sonnet
在零样本情况下解决了92.0%的问题,优于Claude 3 Opus
的84.9%和GPT-4o
的90.2%。
4. 多语言数学(MGSM)MGSM测试模型在多种语言环境下解决数学问题的能力。Claude 3.5 Sonnet
在零样本推理中取得了91.6%的成绩,略高于Claude 3 Opus
的90.7%和GPT-4o
的90.5%。
5. 文本推理(DROP, F1 score)这个测试用来评估模型在文本推理任务中的表现。Claude 3.5 Sonnet
在三次样本测试中取得了87.1%的高分,超过了Claude 3 Opus
的83.1%和GPT-4o
的83.4%。
6. 综合评估(BIG-Bench-Hard)BIG-Bench-Hard是一个综合评估模型在多个领域能力的测试。Claude 3.5 Sonnet
在三次样本推理中达到了93.1%的成绩,远超Claude 3 Opus
的86.8%。
7. 数学问题解决(MATH)这个测试评估模型解决数学问题的能力。Claude 3.5 Sonnet
在零样本推理中取得了71.1%的成绩,优于Claude 3 Opus
的60.1%,但略低于GPT-4o
的76.6%。
8. 小学数学(GSM8K)GSM8K测试模型在小学数学问题上的表现。Claude 3.5 Sonnet
在零样本推理中取得了96.4%的成绩,略高于Claude 3 Opus
的95.0%。
多模态能力是另一个AI模型的“兵家必争之地”,它能够直接体现一个AI模型对于除文字以外的内容(如文档、图片、语音等)的理解能力。而优秀的理解能力是好的执行和输出的前提条件,所以多模态能力对于模型来说是至关重要的一环。
Claude 3.5 Sonnet
是Claude家族迄今为止最强大的视觉模型(vision model),在标准视觉基准测试中超越了Claude 3 Opus
。这些显著的改进在需要视觉推理的任务中尤为明显,比如解释图表和图形。Claude 3.5 Sonnet
还能准确地从不完美的图像中转录文本,这在零售、物流和金融服务等领域尤为重要,因为在这些领域,AI从图像、图形或插图中获得的信息往往比从文本中更多。
从标准化的视觉基准测试中可以看到,Claude 3.5 Sonnet
在多个视觉任务的测试中表现出色,尤其在视觉数学推理、科学图表理解和图表问答等方面,均超越了前代模型和部分竞争对手。
1. 视觉数学推理(Visual math reasoning, MathVista)这个测试用来评估模型在视觉数学推理上的能力。Claude 3.5 Sonnet
在零样本推理(0-shot CoT)中取得了67.7%的成绩,显著优于Claude 3 Opus
的50.5%和Gemini 1.5 Pro
的63.9%。
2. 科学图表(Science diagrams, AI2D)AI2D测试评估模型对科学图表的理解和解释能力。Claude 3.5 Sonnet
在零样本情况下取得了94.7%的高分,超过了Claude 3 Opus
的88.1%和GPT-4o
的94.2%。
3. 视觉问答(Visual question answering, MMMU)这个测试用来评估模型在视觉问答任务中的表现。Claude 3.5 Sonnet
在零样本推理中达到了68.3%的成绩,优于Claude 3 Opus
的59.4%和Gemini 1.5 Pro
的62.2%。略低于GPT-4o
的69.1%。
4. 图表问答(Chart Q&A, Relaxed accuracy)这个测试评估模型在解释和回答图表问题上的能力。Claude 3.5 Sonnet
在零样本推理中取得了90.8%的成绩,超过了Claude 3 Opus
的80.8%和GPT-4o
的85.7%。
5. 文档视觉问答(Document visual Q&A, ANLS score)ANLS测试评估模型在处理文档视觉问答任务中的表现。Claude 3.5 Sonnet
在零样本情况下取得了95.2%的高分,显著高于Claude 3 Opus
的89.3%和Gemini 1.5 Pro
的93.1%。
除了Claude 3.5 Sonnet
的发布,Anthropic在Claude AI平台上推出了一项新功能——Artifacts,这个新功能扩展了用户与Claude互动的方式。当用户请求Claude生成内容如代码片段、文本文档或网站设计时,这些Artifacts(中文可译为:成果、生成物)会在对话窗口旁的专用窗口中显示。这样创建了一个动态的工作空间,用户可以实时查看、编辑和构建Claude的创作内容,轻松将AI生成的内容整合到他们的项目和工作流程中。
从更深层次的角度来看,Artifacts这一预览功能标志着Claude从对话型AI向协作工作环境的演变。Anthropic官方表示这只是Claude更广阔愿景的一个开始,不久之后将扩展到支持团队协作。在不久的将来,团队乃至整个组织将能够安全地将他们的知识、文档和正在进行的工作集中到一个共享空间,而Claude则作为随叫随到的团队伙伴,为他们提供支持。(不得不说,Claude这个饼画的还是挺大的。OpenAI和Anthropic都在努力争夺企业端的客户。)
Claude 3.5 Sonnet
接下来聊一聊小伙伴们比较关心的如何使用最新的Claude 3.5 Sonnet
模型及其API价格。
免费使用:
高级订阅:
Claude Pro
和团队计划订阅用户可享受更高的使用速率限制Claude API访问:
Claude 3.5 Sonnet
API价格:
值得一提的是,Claude 3.5 Sonnet
API的这个价格仅仅是Claude 3 Opus
API的五分之一!
Anthropic官方表示将会不断优化“智商”、速度和成本之间的平衡。作为Claude 3.5
系列模型的补充,将在今年晚些时候发布Claude 3.5 Haiku
和Claude 3.5 Opus
模型。
除了开发新一代模型,Anthropic还正在构建新的模式和功能,以支持更广泛的应用案例,比如Memory等新功能,这将赋予Claude记忆用户偏好和交互历史的能力,从而提供更加个性化和高效率的用户体验。(这一点ChatGPT已经基本实现了,Claude加油。)
53AI,企业落地应用大模型首选服务商
产品:大模型应用平台+智能体定制开发+落地咨询服务
承诺:先做场景POC验证,看到效果再签署服务协议。零风险落地应用大模型,已交付160+中大型企业
2024-10-06
Multi-Agent架构:探索AI协作的新纪元
2024-10-06
AI大模型:你不得不知道的两个致命缺陷
2024-10-05
2024年OpenAI DevDay发布实时 API、提示缓存等新功能
2024-10-05
LLM Agent的构成、技术与挑战
2024-10-05
OpenAI重磅发布Canvas:跟ChatGPT一起写作编程
2024-10-05
OpenAI爆料!GPT-5参数将达17万亿,GPT-6规模增加百倍
2024-10-02
Sam Altman回顾OpenAI 开发者日:AGI之路更清晰了
2024-10-02
ChatGPT实时语音将于本周向免费用户推出:OpenAI DevDay 2024详细解读
2024-03-30
2024-07-18
2024-04-26
2024-05-06
2024-04-11
2024-06-12
2024-07-09
2024-05-09
2024-07-25
2024-08-21