阿里发布包含音频的千问3新模型 Qwen3-Omni

根据阿里巴巴的说法，Qwen3-Omni在36个音视频基准测试中的32个中排名第一，超过了像Gemini 2.5 Flash和GPT-4o这样的成熟模型，例如在语音理解和语音生成等任务中表现出色。在专业领域，其性能与为单一输入类型构建的模型相当。

Qwen3-Omni的图表：更智能的推理，多语言响应，234毫秒延迟，以及长达30分钟的转录。

Qwen3-Omni为复杂任务提供更强的推理能力，支持多语言对话，响应时间仅为234毫秒延迟，并且可以转录长达30分钟的音频。| 图片：阿里巴巴

尽管阿里巴巴尚未发布技术报告，但博客文章和基准测试结果提供了一些细节。这个拥有300亿参数的模型采用了专家混合架构，每次推理激活30亿参数。Qwen3-Omni处理音频输入仅需211毫秒，处理音频和视频组合输入需507毫秒。

鉴于其相对紧凑的架构，Qwen3-Omni能够在阿里巴巴选择的基准测试中与领先的商业模型保持同步，令人印象深刻。话虽如此，它是否能够在日常使用中持续匹配像GPT-4o或Gemini 2.5 Flash这样的模型的性能，仍然是一个开放的问题，因为较小的模型通常在受控测试之外会遇到困难。

用于比较Qwen3-Omni-30B-A3B与其他Qwen、GPT和Gemini竞争模型在文本、音频、语音、图像和视频等各类别性能的基准测试表。Qwen3-Omni在大多数测试中得分最高。

在大多数音频、文本和图像处理基准测试中，Qwen3-Omni-30B-A3B的性能优于其他模型。| 图片：阿里巴巴

Qwen3-Omni采用两部分系统：“思考者”分析输入并生成文本，而“说话者”将此输出直接转换为语音。这两个组件并行工作以最小化延迟。

Qwen3-Omni架构的技术图，输入为视觉编码器和AuT音频编码器，文本处理使用Qwen3-Omni MoE思考者，语音生成使用Qwen3-Omni MoE说话者，音频输出使用带有流式编解码器解码器的MTP模块。不同类型的标记用颜色区分。

Qwen3-Omni的分体架构将文本处理（“思考者”）和实时语音输出（“说话者”）分开。| 图片：阿里巴巴

Qwen3-Omni采用两部分系统：“思考者”分析输入并生成文本，而“说话者”将此输出直接转换为语音。这两个组件并行工作以最小化延迟。

Qwen3-Omni的AI可以为音频生成详细的流派和情绪描述。

 图片：阿里巴巴

对于实时输出，Qwen3-Omni逐步生成音频，而不是一次性创建整个音频文件。每个处理步骤立即转换为可听语音，从而实现无缝流式传输。音频编码器经过2000万小时音频训练。两个主要组件都使用多个并行运行的专业子系统，从而实现高吞吐量和快速响应。

该模型处理119种语言的文本，理解19种语言的口语，并能用10种语言进行回应。它可以分析和总结长达30分钟的音频。

阿里巴巴表示，该模型经过训练，可在其支持的所有输入类型中表现同样出色。该公司声称，在处理多种模态时，任何单一领域都没有权衡取舍。

用户可以通过特殊指令调整模型的行为，例如改变回应风格或个性。Qwen3-Omni还可以连接到外部工具和服务以完成更复杂的任务。

阿里巴巴还发布了Qwen3-Omni-30B-A3B-Captioner，这是一个专门用于分析音频内容（如音乐）的独立模型。其目标是生成准确、低错误的描述，填补开源生态系统中的空白。

音乐分析用户界面显示浪漫的lo-fi流行/独立民谣作品的流派和氛围，背景为紫色波浪。

Qwen3-Omni的AI可以为音频生成详细的流派和情绪描述。

 图片：阿里巴巴

阿里巴巴表示，计划改进多说话者识别，为视频添加文本识别，并增强从音视频组合中学习的能力。该公司还在致力于扩展自主代理功能。

Qwen3-Omni可通过Qwen Chat使用，并在Hugging Face上作为演示提供。开发人员可以使用阿里巴巴的API平台将模型集成到自己的应用程序中。

还有两个开源版本：Qwen3-Omni-30B-A3B-Instruct用于遵循指令，Qwen3-Omni-30B-A3B-Thinking用于复杂推理。

阿里巴巴的YouTube演示显示了Qwen3-Omni通过可穿戴设备实时翻译餐厅菜单。此次发布紧随Quark AI眼镜的推出以及阿里巴巴的Quark聊天机器人在中国应用商店的日益流行。通过英文广告，阿里巴巴显然不仅着眼于中国市场，还在瞄准西方市场的用户。