我要投稿
Meta于7月23日发布Meta Llama 3.1 405B，并认为这是世界上最大、功能最强大的开源基础模型。顶级开源模型Llama 3.1 405B的上下文长度扩展到了 128K、支持八种语言，在常识、可操纵性、数学、工具使用和多语言翻译等方面可与 GPT-4、GPT-4o、Claude 3.5 Sonnet 等领先的闭源模型相媲美。
针对公众关注的Llama 3.1 405B的中文性能问题，作为专业第三方测评机构SuperCLUE选取了中文推理相关的核心任务进行了深入测评。具体来说，我们采用了中文数学多步推理测评基准（SuperCLUE-Math6，含2024题）和中文等级化代码单元测试基准（SuperCLUE-Code3，包含1560个测试用例），对Llama 3.1 405B在数学和编程方面的能力进行了全面评估。
先说结论
结论1：在完成SuperCLUE推理任务时，Llama 3.1 405B的整体得分为88.44，超过GPT-4 Turbo，仅次于GPT-4o，暂据排行榜第二。
结论2：Llama 3.1 405B在SC-Math6数学基准上得分91.19分，判定为推理等级5，与GPT-4o相比仅有0.58分的差距，领先其他模型。
结论3：Llama 3.1 405B在SC-Code3代码基准上得分69.68分，接近70分，较GPT-4 Turbo略高（0.11分），与GPT-4o有一定差距（2分）。
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费场景POC验证，效果验证后签署服务协议。零风险落地应用大模型，已交付160+中大型企业
2025-06-30
李彦宏出手！百度大模型终于开源
2025-06-30
重磅！百度文心一言4.5开源，包含2个多模态大模型，4个大语言模型，最大参数量4240亿！完全免费商用授权！
2025-06-28
卷疯了！这个清华系Agent框架开源后迅速斩获1.9k stars，还要“消灭”Prompt？
2025-06-28
刚刚，马斯克宣布：Grok 4 将于7月4日后发布！
2025-06-27
Local MCP时代来临：一键集成AI的Desktop Extensions（.dxt）深度解析
2025-06-27
PaddleOCR 3.0重磅发布！OCR精度跃升13%，多场景文档解析全面升级
2025-06-26
动手学Dify：知识库与外部知识库
2025-06-26
Google刚刚开源的这个东西，让Claude慌了 ｜ Gemini-CLI 提示词详细拆解
2025-06-17
2025-06-17
2025-04-13
2025-04-29
2025-04-01
2025-04-12
2025-04-10
2025-04-29
2025-04-29
2025-04-01
2025-06-28
2025-06-25
2025-06-25
2025-06-21
2025-06-16
2025-06-15
2025-06-14
2025-06-10
回到顶部
粤ICP备17114055号