我要投稿

通用语音识别模型VibeVoice ASR：长达60分钟音频一次性“直出”结构化转写

发布日期：2026-03-25 20:59:49 浏览次数： 1524

作者：微软亚洲研究院

微信搜一搜，关注“微软亚洲研究院”

（本文阅读时间：6分钟）

语音识别技术在近年来取得了飞速发展，但在面对真实的复杂场景时，许多系统依然显得有些力不从心：漫长的会议、多人混杂的交谈、极具专业性的行业术语，或是中英夹杂的日常对话…… 传统的语音识别系统往往需要将长音频切分成一个个短小的片段，分别识别后再费力地“拼凑”起来。这种“化整为零”的方法不仅容易丢失上下文，还常常在谁说了什么、什么时候说的等问题上张冠李戴。

近日，微软亚洲研究院发布了一款通用的语音识别模型 VibeVoice ASR，单次转录可处理长达 60 分钟的连续音频，并能够可靠地生成丰富、结构化的输出，清晰地记录说话者是谁以及其说话时间。作为一种全新的语音识别范式，VibeVoice ASR 将长语音理解视为首要问题，而非用碎片化步骤的简单拼接对其加以处理。

VibeVoice ASR 现已完全集成到 Hugging Face Transformers 生态系统中，并可通过 Microsoft Foundry 模型目录轻松检索。开发者可以使用自己熟悉的工具，轻松进行实验、评估和部署。

VibeVoice ASR

论文链接：

https://arxiv.org/pdf/2601.18184

代码&模型链接：

https://github.com/microsoft/VibeVoice

Microsoft Foundry 链接：

https://ai.azure.com/catalog/models/microsoft-vibevoice-asr-hf

Hugging Face 链接：

https://huggingface.co/microsoft/VibeVoice-ASR

VibeVoice ASR 解锁长语音新体验

VibeVoice ASR 颠覆了传统的自动语音识别（ASR）流程。它不再将语音识别、说话人日志（diarization）和时间戳对齐割裂开来，而是将“转录、识别说话人、打时间戳”融为一体，通过单次推理直接输出结构化结果。

此外，无需机械地将音频切片，模型就能够全局、全盘地处理长录音，从而在整场对话中完美保留全局上下文信息。无论是长达一小时的会议、访谈，还是播客节目，VibeVoice ASR 都可以在保证准确率的同时，兼顾结构化输出的一致性。

图1：VibeVoice ASR 架构概览

五大核心能力

60 分钟音频一次性转录：VibeVoice ASR支持单次处理长达一小时的连续音频，完美保留长上下文和说话人一致性，彻底告别手动切片或繁琐的后期结果拼接。
高度结构化输出：结合自动语音识别、说话人记录和时间戳功能，VibeVoice ASR输出的文本不仅准确，而且清晰标注了“谁、在什么时候、说了什么”，只需少量的后期处理即可。
支持自定义热词：在转录请求中，VibeVoice ASR可直接注入特定领域的专业词汇、专有名词或生僻技术术语，大幅提升了垂直领域的识别准确度。
强大的多语言与语种切换：VibeVoice ASR原生支持 50 多种语言，且支持无缝的语种切换（如中英混杂对话），用户无需在调用前手动配置或锁定语言。
统一的、基于大语言模型的架构：巧妙地将声学和语义音频分词器（tokenizer）与大语言模型解码器相结合，VibeVoice ASR真正实现了具备长上下文理解能力的语音理解。

性能飞跃，VibeVoice ASR 定义长语音理解新标杆

在包括 AISHELL-4、AMI 和 AliMeeting 在内的五项权威基准测试中，VibeVoice ASR 的性能一致超越了此前领先的闭源多模态大模型。

更精准的角色归属：VibeVoice ASR反映说话人归属准确性的 DER（说话人错误率）降至 3.42%，远优于对比模型的 16.29%。
更一致的时序对齐：在综合评估“谁、何时、说了什么”的 tcpWER 指标上，VibeVoice ASR 以 14.81% 的表现大幅领先，解决了长音频中常见的时间戳偏移问题。
更强大的语言泛化：虽然监督微调（SFT）阶段侧重中英环境，但得益于覆盖 50 多种语言的预训练底座，VibeVoice ASR模型在法语、德语、日语等多语种测试中展现出极强的泛化性。