推荐语
通义百聆开源新一代语音交互模型，不仅性能卓越还能节省50%GPU计算，让智能对话更高效自然！核心内容： 1. Fun-Audio-Chat-8B模型在多项权威测评中斩获SOTA 2. 创新架构与训练策略实现高效低算力，节省近50%GPU计算 3. 出色的共情能力，可自动感知用户情绪并作出自然回应
杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家
刚刚，通义百聆家族开源新一代语音交互模型 Fun-Audio-Chat-8B。该模型在OpenAudioBench、VoiceBench、UltraEval-Audio、MMAU、MMSU、SpeechFunctionCall 等多项权威基准测评中，斩获SOTA，超过一众同量级开源模型。这款新模型兼具高智商和高情商，具备出色的共情能力，与之对话，仿佛与懂你的人聊天。
Fun-Audio-Chat-8B模型在多项基准测试中斩获SOTA
作为通义大模型家族全新的语音大模型系列，通义百聆已有成员包括“会说话”的语音转文字模型Fun-ASR、“听得懂”的文字转语音模型Fun-CosyVoice3。最新开源的模型Fun-Audio-Chat-8B主打语音对语音功能——“能听会说”，用户可与模型音频对话，适用于语音聊天、情感陪伴、智能设备和语音客服等多种场景。即日起，用户可在魔搭社区、HuggingFace和GitHub下载模型自行体验。
模型开源下载地址：
https://modelscope.cn/FunAudioLLM/Fun-Audio-Chat-8B
https://huggingface.co/FunAudioLLM/Fun-Audio-Chat-8B
https://github.com/FunAudioLLM/Fun-Audio-Chat
在加入大规模语音、多模态能力后，Fun-Audio-Chat-8B还能保持“原有智商”，得益于两个创新的音频模型训练模式。
一是采用Core-Cocktail两阶段训练策略，先快速学新本事，再把“新本事”和“老底子”融合起来，为了避免学新东西把原来的能力忘掉（灾难性遗忘），第一阶段训练得到的模型和原始的纯文本大模型参数合并后，再进行微调。
二是与人类偏好对齐。通过多阶段和多任务的后训练设计，模型在真实对话场景中能更好地理解用户语音内容与情绪线索，作出更自然、更符合人类期望的回应。
此外，Fun-Audio-Chat-8B的高效低算力架构也是重大创新，通过压缩-自回归-解压缩的双分辨率端到端设计，音频帧率降到业界最低的5Hz，在保证语音质量的同时节省近50%GPU计算。
Fun-Audio-Chat-8B模型架构，
通过压缩-自回归-解压缩设计，节省近 50% GPU 计算
没有任何情绪标签或提示词的情况下，该模型能通过用户的语义、语气、语速、停顿、重音等细微信号，感知对方的情绪状态，并给出恰到好处的关切、安慰或鼓励式回应。
比如用户说：“我一个人走在回家的路上，有人已经跟了我两个街区了。”模型会回应：“别怕，我陪你一起走这段路，好吗？”并提醒用户找到灯亮、人多的地方，甚至询问是否需要帮忙给家人发条消息确认位置。
// 支持角色扮演等量身定制语音
用户还可尝试角色扮演，量身定制语音的情绪、说话风格、语速、高低音和音量等。
比如当用户提出“你是一名兴奋的电竞解说员”时，模型会回应一段激情的现场解说。
粤ICP备14082021号
免费POC，
零成本试错
