我要投稿

Jamba 1.5：最强大、最高效的长上下文模型系列

发布日期：2024-08-28 08:05:12 浏览次数： 2316

作者：Halo咯咯

微信搜一搜，关注“Halo咯咯”

01。

概述

AI21实验室的Jamba 1.5系列开放模型家族的发布，标志着人工智能在处理长上下文任务方面的重大突破。Jamba 1.5 Mini和Jamba 1.5 Large两款模型，基于创新的SSM-Transformer架构，不仅在技术层面展现了卓越的性能，更在推动人工智能技术的普及和应用上发挥了重要作用。

02。

关键特性

在AI21，致力于通过设计专为企业级应用而构建的人工智能系统来改变现状。这些模型在构建时充分考虑了大型企业在实施通用人工智能（GenAI）时最为关注的几项关键指标：资源效率、质量、速度以及真正解决关键任务的能力。

长上下文处理：Jamba 1.5模型拥有市场上最长的256K有效上下文窗口，能够提升关键企业应用的质量，例如长篇文档的摘要和分析，以及代理和增强检索生成（RAG）工作流程。
速度：在长上下文处理上速度提升至2.5倍，且在其规模类别中所有上下文长度上均为最快。
质量：Jamba 1.5 Mini在Arena Hard基准测试中得分46.1，是其规模类别中最强的开放模型，超越了Mixtral 8x22B和Command-R+等更大型模型。Jamba 1.5 Large得分65.4，超越了Llama 3.1 70B和405B。
多语言支持：除了英语，模型还支持西班牙语、法语、葡萄牙语、意大利语、荷兰语、德语、阿拉伯语和希伯来语。
开发者友好：Jamba原生支持结构化JSON输出、函数调用、文档对象处理和引用生成。
开放构建：两种模型均可在Hugging Face上立即下载（即将登陆领先的框架LangChain和LlamaIndex）。
灵活部署：除了AI21 Studio，模型还在Google Cloud Vertex AI、Microsoft Azure和NVIDIA NIM等云合作伙伴平台上可用，并将很快登陆Amazon Bedrock、Databricks Marketplace、Snowflake Cortex、Together.AI，以及支持私有本地和VPC部署。

03。

模型潜力

开放模型许可证与创新驱动

AI21实验室通过Jamba开放模型许可证发布这些模型，鼓励广泛的实验和创新。这种开放的态度不仅有助于推动技术的发展，也为更广泛的社区提供了学习和应用这些先进技术的机会。

Jamba 1.5 Mini 和 Jamba 1.5 Large 在人工分析运行的测试中显示出出色的速度和吞吐量结果，如下图所示，Jamba 1.5 Mini 排名为 10K 上下文中最快的模型。

多语言支持与应用潜力

Jamba 1.5模型支持多种语言，包括西班牙语、法语、葡萄牙语、意大利语、荷兰语、德语、阿拉伯语和希伯来语等，使其成为在全球多样化语言环境中运营的企业的强大工具。

开发者友好性与集成便利

对于开发者而言，Jamba 1.5模型提供了对结构化JSON输出、函数调用、文档对象消化和引用生成的原生支持。这些特性使模型能够适应各种开发需求，实现与现有工作流程的无缝集成。

灵活部署与资源效率

AI21实验室确保Jamba 1.5模型可以在多个平台上访问和部署，包括Hugging Face、Google Cloud Vertex AI、Microsoft Azure和NVIDIA NIM等。预计这些模型很快也将在Amazon Bedrock、Databricks Marketplace、Snowflake Cortex等其他平台上提供。

Jamba 1.5模型的资源效率也是其关键优势之一。建立在结合了Transformer和Mamba架构优势的混合架构上，提供了更低的内存占用，允许企业在单个GPU上处理广泛的上下文长度。AI21实验室的创新量化技术ExpertsInt8进一步提高了这种效率，优化了模型性能，同时不牺牲质量。

04。

总结语展望

AI21实验室发布的Jamba 1.5家族，不仅在技术上树立了新的基准，更通过开放模型许可证实现了尖端人工智能技术的普及。随着企业继续寻求提供现实世界价值的人工智能解决方案，Jamba 1.5模型以其强大的能力脱颖而出，能够满足复杂、大规模应用的需求。它们在多个平台上的可用性以及对多语言环境的支持进一步增强了它们的吸引力，使它们成为开发者和企业的多功能选择。

随着技术的不断进步和应用的不断拓展，Jamba 1.5模型有望在未来的人工智能领域扮演更加重要的角色，推动行业向更高效、更智能的方向发展。