Google 和 Cohere 同日发布音频 AI 模型

推荐语

Google和Cohere同日发布音频AI模型，从智能客服到语音转文字，AI正在突破"听"的边界。

核心内容：
1. Google Gemini 3.1 Flash Live的多模态交互能力：情绪检测、语音自动化、图像识别
2. Cohere Transcribe的极致语音转文字性能：5.42%词错误率，开源策略
3. 音频AI的商业价值：客户服务自动化、多模态交互的未来趋势

杨芳贤

53AI创始人/腾讯云(TVP)最具价值专家

Google 和 Cohere 在同一天发布了新的音频处理模型。

Google 的 Gemini 3.1 Flash Live 主打自动化客户服务，Cohere Transcribe 则专注于语音转文字。两款模型都比前代有显著提升。

这是 AI 从"看"到"听"的关键一步。

Gemini 3.1 Flash Live：能听、能看、能懂情绪

Google 这次有点东西。

Gemini 3.1 Flash Live 不是简单的语音识别模型，它是一个多模态交互系统。

核心能力

语音交互自动化：企业可以用它构建语音代理，自动处理客户服务电话。比如零售商可以创建一个自动处理退货请求的代理。

情绪检测：这是亮点。模型能检测用户是否沮丧或困惑，并相应调整响应策略。简单说，它能听懂你话里的情绪。

多模态输入：不止能听语音，还能看图像。你家智能家居设备坏了，拍张照片上传给 Gemini，它能帮你排查故障。

工具调用：可以从外部数据源检索信息，比如产品文档库。

性能数据

• ComplexFuncBench Audio 得分：90.8%
• 比上一代提升：近 20%
• Audio MultiChallenge：创纪录

Cohere Transcribe：精准到极致的语音转文字

如果 Gemini 是全能选手，Cohere Transcribe 就是专精大师。

核心指标

• 平均词错误率（WER）：5.42%
• Hugging Face Open ASR 排行榜：第一名

技术架构

Cohere 用了 Conformer 算法。

Conformer = CNN + Transformer

• CNN 擅长处理音频的局部特征
• Transformer 擅长捕捉长距离依赖

两者结合，就像把摄像机的广角镜头和望远镜装在了一起。

模型规模

• 总参数：2B（20 亿）
• 语言支持：十几种
• 计算需求：相对较低

2B 参数什么概念？GPT-3 是 175B，LLaMA 2 是 7B-70B。Cohere Transcribe 用很小的参数量实现了顶尖性能。

开源策略

Cohere Transcribe 采用 Apache 2.0 许可，企业可以：

• 在自己的基础设施上运行
• 使用 Cohere 的 Model Vault 托管服务
• 集成到 North 生产力平台

为什么音频 AI 这么重要？

音频是 AI 的下一个战场。

语音是最自然的交互方式

人类几万年来都是用语音交流的。打字是这几百年的事。语音才是本能。

客户服务的痛点

企业每年在客户服务上花数十亿美元。能自动化 30% 的客服电话，就是数十亿的成本节约。

多模态是未来

只看文字或图像的 AI 是半残的。真正的智能需要能听、能看、能说。

实战思考

对于开发者

Gemini 3.1 Flash Live 适合：

• 智能客服系统
• 语音助手
• 多模态问答（比如"这个东西怎么用"配张图）

Cohere Transcribe 适合：

• 会议记录自动生成
• 播客/视频字幕
• 通话内容分析

对于企业

别急着上。先问三个问题：

1. 你的数据准备好了吗？
音频数据的质量和标注是最大瓶颈。

2. 你的场景真的需要 AI 吗？
有些场景用规则引擎可能更好。

3. 你能接受错误率吗？
5.42% 的 WER 听起来很低，但在医疗、法律等敏感领域可能还是不够。

行业趋势

这次发布透露了几个信号：

1. 音频 AI 进入实用阶段
不再是实验室玩具，而是能真正解决业务问题的工具。

2. 开源 vs 闭源的路线分化
Google 的模型是闭源的，Cohere 选择了开源。两种路线都有其逻辑。

3. 专用模型的价值
Cohere Transcribe 专注一件事（语音转文字），做到了极致。这印证了一个观点：在特定任务上，专用模型往往比通用模型更高效。

写在最后

音频 AI 的时代才刚刚开始。

今天的 Gemini 3.1 Flash Live 和 Cohere Transcribe，就像是当年 GPT-3 刚发布时的样子——技术 impressive，但落地场景还在探索。

真正的机会，不在于模型本身，而在于谁能找到 killer app。

数据一览

Gemini 3.1 Flash Live：

• ComplexFuncBench Audio 得分：90.8%
• 相比上一代提升：近 20%
• 支持多模态输入：语音 + 图像

Cohere Transcribe：

• 词错误率：5.42%
• Hugging Face ASR 排名：第一
• 模型参数：2B
• 许可证：Apache 2.0