我要投稿

Mixtral 8x22B：更便宜、更好、更快、更强大

发布日期：2024-04-23 23:15:33 浏览次数： 2982

作者：PaperAgent

微信搜一搜，关注“PaperAgent”

Mistral发布并开源了Mixtral-8x22B-v0.1和Mixtral-8x22B-Instruct-v0.1，Mixtral 8x22B是Mistral最新的开放模型。它为人工智能社区在性能和效率方面树立了新的标准。这是一个稀疏的专家混合（SMoE）模型，在使用的1410亿参数中，只有390亿是活跃的，为其大小提供了无与伦比的成本效率。

Mixtral 8x22B 具有以下优点：

它具有强大的数学和编码能力。
它原生支持函数调用；
它的64K令牌上下文窗口允许从大型文档中精确地回忆信息。
在Apache 2.0许可下免费使用
性能超越所有开放模型

效率之最

我们构建的模型为各自的规模提供了无与伦比的成本效率，提供了社区提供模型中最好的性能-成本比。Mixtral 8x22B是我们开放模型家族的自然延续。它的稀疏激活模式使其比任何密集的70B模型更快，同时比任何其他开放权重模型（在宽松或限制性许可证下分发）更有能力。基础模型的可用性使其成为微调用例的极好基础。

衡量性能（MMLU）与推理预算权衡（活跃参数数量）的指标。Mistral 7B、Mixtral 8x7B和Mixtral 8x22B都属于与其它开放模型相比高度高效的模型家族。

无与伦比的开放性能

推理和知识

Mixtral 8x22B针对推理进行了优化。

在广泛常识、推理和知识基准测试中，顶级领先的LLM开放模型的性能：MMLU（衡量大规模多任务语言理解）、HellaSwag（10-shot）、Wino Grande（5-shot）、Arc Challenge（5-shot）、Arc Challenge（25-shot）、TriviaQA（5-shot）和NaturalQS（5-shot）。

多语言能力

Mixtral 8x22B具有原生的多语言能力。在法语、德语、西班牙语和意大利语的HellaSwag、Arc Challenge和MMLU基准测试中，它的表现大大超过了LLaMA 2 70B。

Mistral开源模型与LLaMA 2 70B在法语、德语、西班牙语和意大利语的HellaSwag、Arc Challenge和MMLU的比较。

数学与编码

与其他开放模型相比，Mixtral 8x22B在编码和数学任务中表现最佳。

在领先的开放模型的流行编码和数学基准测试中的表现：HumanEval pass@1、MBPP pass@1、GSM8K maj@1（5-shot）、GSM8K maj@8（8-shot）和Math maj@4。

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2024-07-10

科研助力神器：Scholar GPT，百倍提升你的研究效率！

2024-07-09

Doc2X：一款功能超级强大的文档解析与转换工具

2024-07-06

我对多智能体协作过程自动演化架构设计

2024-07-06

可穿戴AI，底层逻辑的变化

2024-07-06

一文彻底搞懂Transformer - Word Embedding（词嵌入）

2024-07-06

AI动态 | 腾讯元宝AI搜索能力升级：深度搜索模式上线

2024-07-06

智能手表 + AI ，都已经这么智能了？？

2024-07-06

死磕10万卡GPU算力集群，腾讯星脉网络2.0有什么秘密武器？

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

Pencil：设计和写代码，以后就全让AI干了

2026-01-24

独家实录｜唐杰、杨植麟、林俊旸、姚顺雨...All Star 对话上，大家聊了啥？

2026-01-10

我挖到Gemini 3.0 Pro十大隐藏玩法，做网页已经落后N个版本了

2025-11-19

全新AI编程工具 Google Antigravity 实测，特别适合产品经理

2025-11-19

深度体验TRAE SOLO 正式版，总结一点技巧(附完整可重现提示词和源码)

2025-11-13

OpenAI Codex 实用技巧介绍

2025-11-14

从0到1玩转Clawdbot：我花了40小时，把这些坑都踩完了

2026-01-26

Clawdbot 完整安装教学：2026 年最火的开源AI 个人助理

2026-01-27

2026 开年 AI 工具推荐，让你新的一年效率起飞！（建议收藏）

2026-01-01

一文彻底看懂 Google 最新开源 A2UI 协议：如何让 AI Agent “说出UI” ？

2025-12-22

大家都在问

OpenClaw之后，我们离能规模化落地的Agent还差什么？

2026-02-03

使用 Agent Skills 做知识库检索，能比传统 RAG 效果更好吗？

2026-02-03

刚刚！OpenAI 正式发布 Codex App，一人指挥一支 AI 军队，Cursor 慌了？

2026-02-03

谷歌Genie 3打崩游戏股！1小时500元的AI生成游戏，真能革游戏的命？

2026-02-03

史上最强编程模型Claude 5泄露，最慌的是黄仁勋？

2026-02-02

X上点赞近万的Claude Agent SDK教程，到底讲了什么？

2026-02-02

人人都在谈论ClawdBot，但你真的懂它的技术原理吗？

2026-02-02

刚刚，谷歌版「世界模型」震撼公测！网友实测炸翻天：游戏末日来了？

2026-01-31

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部