免费POC, 零成本试错
FDE知识库

FDE知识库

学习大模型的前沿技术与行业落地应用


收藏

淘宝直播数字人:音视频&算法工程技术

发布日期:2025-07-03 18:22:19 浏览次数: 2993
作者:大淘宝技术

微信搜一搜,关注“大淘宝技术”

推荐语

淘宝直播数字人技术揭秘:从文案生成到形象驱动的全链路实践,探索AI与音视频工程的完美结合。

核心内容:
1. 六大核心技术解析:LLM文案生产、互动能力、TTS语音合成、形象驱动、音视频工程、服务端架构
2. 数字人直播解决商家三大痛点:非播时段覆盖、降低运营成本、提升互动效率
3. 实际应用场景:自营商家服务与公益助农项目的成功案例

杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家



本专题是我们打造智能数字人的部分实践总结。我们将探讨六大核心环节:LLM文案生产赋予数字人思考和内容生成能力,如同其“大脑”;LLM互动能力则聚焦对话逻辑与拟人化交流,是实现自然交互的关键;TTS(语音合成)技术负责将文字转化为富含情感、个性化的“声音”;形象驱动技术让语音与表情、口型、肢体动作精准同步,塑造逼真视觉形象;音视频工程解决实时渲染、低延迟传输与高质量画面输出的技术挑战;最后,服务端工程构建稳定、弹性、高并发的后端支撑平台,确保数字人服务高效稳定运行。欢迎大家一起交流进步。

第一篇:淘宝直播数字人LLM推理优化:模型蒸馏与路径压缩实践
第二篇:淘宝直播数字人:LLM文案生成技术》
第三篇:淘宝直播数字人:LLM弹幕互动技术
第四篇:淘宝直播数字人:TTS技术语音合成技术》
第五篇:淘宝直播数字人:形象技术

图片

文章价值与思路说明


本文给大家带来的价值:
  • 分享直播核心链路,帮助大家快速了解直播上下游链路
  • 分享数字人核心技术,帮助大家快速了解
  • 数字人核心技术与链路分享淘宝直播数字人项目各个阶段过程与思考
  • 希望能帮助到新的创新,给大家带来一些小的思路和启发
  • 如果能稍微帮助大家,是最开心的事情了~

文章分享思路:

带着问题出发:
  • 数字人业务背景是什么?有什么作用?
  • AI与工程如何结合,如何与音视频技术结合?
  • 直播核心的链路是什么?一个字节的旅行
  • 音视频工程如何与AI结合?
  • 如何产品化,产品化流程是怎么样的?
  • 数字人后续的发展方向和展望

业务背景与价值


  数字人直播


商家核心痛点问题:
  • 非播时间段空窗:真实主播开播时长有限,我们通过主播形象克隆及云端开播,实现非播时间段自助开播(凌晨、主播休息时间段、24h)
  • 主播运营讲解成本高:通过自研LLM大模型自动生成商品讲解文案,降低主播商品讲解成本
  • 直播间无法同时回复大量评论通过自研LLM大模型对话能力,实现弹幕实时互动
  • 直播间商品展示操作复杂通过自动化展示商品物料、同步弹商品卡&特效等能力,完善商品展示,促成交转化

  公益&助农

偏远地区招聘优质主播比较困难,且难以负担主播的昂贵费用。数字人直播则不受地域、环境限制,我们可以提供官方形象及开播方案,实现低成本开播。

  业务服务对象:

目前已成功服务多个行业:
  • 自营商家:天猫超市,喵速达,淘宝秒杀,百亿补贴,淘宝买菜,天天热卖,淘工厂等
  • 行业:3C,食品,大家电,快消,家居,汽车等
    通过提供24小时不间断的直播服务能力,淘宝直播数字人为商家提供更高效、更经济的解决方案。

核心链路总览




工程链路


问题:
AI与工程如何结合,如何与音视频技术结合?

  直播核心链路+一个字节的旅行

如何开始一场直播,接下来剖析下直播过程中发生了什么、有哪些环节以及为什么会有这些环节。
以淘宝直播为例,在直播的过程主要包括了音视频采集、渲染/混音、编码、传输/协议、GRTN、播放器这几个主要的环节。为了方便清晰的展示出这些链路,以一张大图呈现如下,其中同时注明了每个环节存在的必要性:


经过上一节可以大致了解直播的基本流程,众所周知程序员喜欢刨根问底,接下来我们把数据拆分成一个字节,观察一个字节在整个过程中是如何流转的。这里拆分了音频和视频两个链路来介绍音频和视频是如何流转的,并且标明了其在每个环节的数据状态:


  整体架构与流程

LiveCopilot包含了渲染+音视频+AI工程,负责AI能力(LLM、TTS、唇部驱动等)在直播场景落地。其围绕 AI工程、音视频渲染、直播与短视频 三大核心能力建设。(因部分内容因涉及内部模块,特此进行模糊处理,望见谅)
架构图:

  降成本与创新

本节主要分享降成本与技术创新的一些思路与路径
因为篇幅原因,主要列出和核心思路及实现方式,欢迎沟通交流!

降成本(端云结合)
通过端云结合降低数字人整体成本,已线上落地,并有效降低了整体成本。

TTS拆分
通过TTS拆分提升TTS线上效果,降低机器成本

素材与文案结合
通过拉取商详素材,结合前景分镜视频,有效的丰富了直播讲解内容。(因部分内容因涉及内部模块,特此进行模糊处理,望见谅)
更多....(欢迎找我们讨论交流,不一一列举)

数据与产品化


  产品化思考与小方法


  • 技术探索

核心思路
  • 方向:技术成熟度、行业发展情况
  • 快:和时间赛跑、快速出Demo&验证效果
小方法
  • 关注业内新技术,特别是落地情况
  • 关注行业情况,体验竞品效果
  • 单/半周迭代,每周1-2个Demo

  • 可行性验证

核心思路
  • 种子用户:寻找&培养种子用户
  • 与用户建立信任:服务好用户,赢得信任
小方法
  • 关注核心且积极商家&用户,如荣耀/小米等
  • 线下走访,如天下网商
  • 从用户答疑中与商家建联,服务好商家,赢得信任

  • 产品化

核心思路
  • 深入挖掘用户诉求:建立信任、多沟通。
  • 产品需求来自用户:设身处地、同理心
  • 简单、再简单:减少步骤(哪怕一个点击)、减少功能文档
小方法
  • 种子用户体验群,快速迭代,收集诉求
  • 交互简单,不需要文档就是最好的文档

  • 提升规模

核心思路
  • 核心竞争力:价格、易用性、效果
  • 差异性:新的功能,别人做不到的功能
小方法
  • 竞品调研,试用竞品
  • 可以多问用户,为什么用他,而不用我
 
  挑战

  • 肢体驱动
  • 数字人成本进一步降低(端+云)

应用场景展望


  • 数字分身&客服:专属人设大模型,让多个一样的你同时直播、交流!(我们正在做)
  • 帮助残疾人直播:帮助聋哑人讲话,表达自己;帮助残障人士开播!(我们正在做)
  • 千人千面:让每个人拥有一个专属数字人助理,有颜声音甜,陪你讲话、聊天、答疑!(我们正在做)
  • 教育普惠:教师人设大模型+数字人,让每个孩子拥有专属老师,共享普惠教育!
  • 数字记忆:克隆自己、亲人的人设、声音、形象,保留一份永久的分身和记忆,留给自己与儿女!可以聊天、可以述说,可以唠家常

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询

扫码登录
登录即表示您同意《53AI网站服务协议》
服务协议

欢迎您使用【53AI 官方网站】(以下简称“本网站”或“我们”)。本《会员服务协议》(以下简称“本协议”)是您(以下简称“会员”或“用户”)与【深圳市博思协创网络科技有限公司】之间关于注册、登录及使用本网站会员服务所订立的法律协议。

在您注册或登录前,请务必审慎阅读、充分理解各条款内容,特别是免除或限制责任的条款、知识产权条款、争议解决条款等。此类条款将以加粗形式提示您注意。 当您通过微信公众号授权、手机验证码验证或其他方式成功登录本网站时,即视为您已完全理解并同意接受本协议的全部内容。

一、 定义

本网站:指由【深圳市博思协创网络科技有限公司】运营的,域名为【53ai.com】的网站及相关移动端页面。

会员服务:指本网站向注册会员提供的知识库文章查阅、内容检索及其他相关增值服务。

知识库内容:指本网站发布的包括但不限于文字、图表、数据、研究报告、行业分析等数字化内容资源。

二、 账号注册与登录

登录方式:本网站支持以下登录方式,您可根据实际情况选择:

微信公众号授权登录:您同意将您的微信OpenID信息授权给本网站,用于创建或关联会员账号。

手机验证码登录:您需提供真实有效的手机号码,并通过短信验证码完成身份验证与登录/注册。

账号安全:您的账号仅限您本人使用,禁止赠与、借用、租用、转让或售卖。因您保管不善导致的账号被盗、密码泄露等损失,由您自行承担。

实名认证:根据相关法律法规要求,我们可能要求您在特定功能下完成实名认证。如您拒绝提供,可能无法使用部分或全部服务。

未成年人保护:若您未满18周岁,请在法定监护人的陪同下阅读本协议,并在征得监护人同意后使用本服务。

三、 服务内容与规范

知识库查阅权限:会员登录后,有权按照其会员等级对应的权限范围,在线浏览、检索本网站知识库中的相关文章及内容。

服务变更:我们有权根据业务发展需要,调整、变更或终止部分服务内容,并将以网站公告、公众号消息等方式提前通知。

禁止行为:您在使用服务时不得实施以下行为:

利用技术手段批量爬取、下载、转存知识库内容;

将知识库内容用于商业目的或未经授权地向第三方传播;

干扰本网站正常运行或侵犯其他用户合法权益;

发布违法违规信息或从事违反公序良俗的活动。

四、 知识产权声明

权利归属:本网站知识库中的排版设计、软件代码等内容的知识产权均归【公司全称】或原权利人所有,受《中华人民共和国著作权法》等法律保护。

有限许可:本网站授予会员一项非独占、不可转让、不可转授权的普通许可,仅限于个人学习、研究之目的在线查阅知识库内容。

侵权追责:未经书面许可,任何单位或个人不得以任何形式复制、转载、摘编、镜像、汇编或以其他方式使用上述内容。一经发现,我们保留追究其法律责任的权利。

五、 个人信息保护

我们重视对您个人信息的保护。关于我们如何收集、使用、存储和保护您的个人信息,请单独阅读 《隐私政策》。

您通过微信公众号授权或手机号验证所提供的信息,我们将严格按照《个人信息保护法》的规定处理,仅用于身份识别、服务提供及安全验证等必要用途。

您可以随时通过网站设置或联系客服行使查阅、更正、删除个人信息及撤回授权同意的权利。

六、 免责声明

内容准确性:知识库内容仅供参考,不构成专业建议。我们不对其完整性、准确性、时效性作任何明示或暗示的保证,您应自行判断并承担使用风险。

不可抗力:因自然灾害、政策法规变化、网络故障、第三方平台接口异常(如微信接口维护、运营商短信通道故障)等不可抗力导致的服务中断或延迟,我们不承担违约责任。

第三方链接:本网站可能包含指向第三方网站的链接,该等网站的内容和服务不受我们控制,请您自行甄别风险。

七、 违约责任

如您违反本协议约定,我们有权视情节采取警告、限制功能、暂停服务、注销账号等措施,并保留要求赔偿损失的权利。

如因您的违约行为导致我们遭受行政处罚、第三方索赔或商誉损失,您应承担全部赔偿责任(包括但不限于罚款、赔偿金、律师费、公证费等)。

八、 法律适用与争议解决

本协议的订立、执行和解释均适用中华人民共和国大陆地区法律。

因本协议产生的或与本协议有关的任何争议,双方应友好协商解决;协商不成的,任何一方均可向【公司所在地】有管辖权的人民法院提起诉讼。

九、 其他

本协议构成双方就本服务达成的完整协议,取代此前任何口头或书面约定。

本协议任一条款被认定为无效或不可执行的,不影响其他条款的效力。

我们对本协议享有最终解释权,并在法律允许的范围内保留随时修改的权利。修改后的协议一经公布即生效,继续使用服务即视为同意修订内容。


已查阅