我要投稿

SpeechLLM: 分析音频演讲者情感的大模型

发布日期：2024-07-02 09:39:42 浏览次数： 2813

作者：AI Code

微信搜一搜，关注“AI Code”

SpeechLLM 是一种多模态语言模型 (LLM)，专门用于分析和预测对话中说话者的元数据。这种先进的模型集成了语音编码器，可将语音信号转换为有意义的语音表示。这些嵌入与文本指令相结合，然后由 LLM 处理以生成预测。

该模型输入16 KHz的语音音频文件，并预测以下内容：

SpeechActivity：音频信号是否包含语音（True/False）
文字记录：音频的 ASR 文字记录
发言者的性别（女/男）
演讲者的年龄（青年/中年/老年）
说话者的口音（非洲/美洲/凯尔特/欧洲/大洋洲/南亚/东南亚）
说话者的情绪（快乐/悲伤/愤怒/无所谓/沮丧）

Github:https://github.com/skit-ai/SpeechLLM

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-12-11

Qwen3-Omni新升级:声形意合，令出智随！

2025-12-11

首发实测智谱 GLM-TTS：3秒克隆我的声音，连「哎等等这bug怎么回事」都学会了

2025-12-11

硅基流动上线智谱视觉模型 GLM-4.6V

2025-12-11

GLM-TTS技术报告：基于多奖励强化学习的可控发音语音合成

2025-12-11

Qwen3-TTS全面升级：声情并茂，语通八方

2025-12-09

Ming-Flash-Omni 音视图文全模态技术报告解读 —— 一为全，全为一

2025-12-07

阿里 Qwen3-TTS 全新上线！支持9种方言+49种音色，连天津味儿都拿捏了！

2025-12-06

微软又上大分！刚刚开源一款 0.5B 轻量级实时 TTS 模型，还能边想边说！

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

手把手教学：用n8n+RSS+飞书实现多平台热点自动抓取（含RSS源分享）

2025-09-19

谁是OCR王者？MinerU、PaddleOCR、DeepSeek-OCR 实测对比，集成一个多模态PDF解析系统

2025-11-10

DeepSeek-OCR 实测

2025-10-22

DeepSeek-OCR多模态数据分析Agent实战

2025-10-31

Qwen3-Omni：一个模型，全能不偏科

2025-09-25

微软又上大分！刚刚开源一款 0.5B 轻量级实时 TTS 模型，还能边想边说！

2025-12-06

多模态AI质检：身份核验场景实践

2025-09-17

Doc-Researcher：多模态文档解析准确率提升3.4倍

2025-11-03

阿里 Qwen3-TTS 全新上线！支持9种方言+49种音色，连天津味儿都拿捏了！

2025-12-07

Gemini 3 多模态Prompt：手相宗师 - 玄师

2025-11-19

大家都在问

GenAI的多模态数据智能平台如何构建？

2025-08-04

本地AI对话神奇，ChatWise到底有什么用？

2025-05-26

什么是基于知识图谱的多模态推理？

2025-05-13

AI数字人领域重大突破：告别拼凑式合成，阿里OmniTalker能否开启音视频一体化新时代？

2025-04-08

Midjourney V7全面测评：50组多风格提示词实测，是否还有领先优势?

2025-04-05

如何结合多模态RAG和异步调用实现大模型内容理解？

2025-03-30

Chat GPT文生图不用DALL·E模型了？

2025-03-26

如何构建多模态AI知识库？

2025-03-05

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部