我要投稿

淘宝直播数字人：音视频&算法工程技术

发布日期：2025-07-03 18:22:19 浏览次数： 2150

作者：大淘宝技术

微信搜一搜，关注“大淘宝技术”

本专题是我们打造智能数字人的部分实践总结。我们将探讨六大核心环节：LLM文案生产赋予数字人思考和内容生成能力，如同其“大脑”；LLM互动能力则聚焦对话逻辑与拟人化交流，是实现自然交互的关键；TTS（语音合成）技术负责将文字转化为富含情感、个性化的“声音”；形象驱动技术让语音与表情、口型、肢体动作精准同步，塑造逼真视觉形象；音视频工程解决实时渲染、低延迟传输与高质量画面输出的技术挑战；最后，服务端工程构建稳定、弹性、高并发的后端支撑平台，确保数字人服务高效稳定运行。欢迎大家一起交流进步。

第一篇：《淘宝直播数字人LLM推理优化：模型蒸馏与路径压缩实践》

第二篇：《淘宝直播数字人：LLM文案生成技术》

第三篇：《淘宝直播数字人：LLM弹幕互动技术》

第四篇：《淘宝直播数字人：TTS技术语音合成技术》

第五篇：《淘宝直播数字人：形象技术》

文章价值与思路说明

本文给大家带来的价值：

分享直播核心链路，帮助大家快速了解直播上下游链路
分享数字人核心技术，帮助大家快速了解
数字人核心技术与链路分享淘宝直播数字人项目各个阶段过程与思考

希望能帮助到新的创新，给大家带来一些小的思路和启发
如果能稍微帮助大家，是最开心的事情了~

文章分享思路：

带着问题出发：

数字人业务背景是什么？有什么作用？
AI与工程如何结合，如何与音视频技术结合？

直播核心的链路是什么？一个字节的旅行
音视频工程如何与AI结合?

如何产品化，产品化流程是怎么样的？
数字人后续的发展方向和展望

业务背景与价值

▐ 数字人直播

商家核心痛点问题：

非播时间段空窗：真实主播开播时长有限，我们通过主播形象克隆及云端开播，实现非播时间段自助开播（凌晨、主播休息时间段、24h）
主播运营讲解成本高：通过自研LLM大模型自动生成商品讲解文案，降低主播商品讲解成本
直播间无法同时回复大量评论：通过自研LLM大模型对话能力，实现弹幕实时互动
直播间商品展示操作复杂：通过自动化展示商品物料、同步弹商品卡&特效等能力，完善商品展示，促成交转化

▐ 公益&助农

偏远地区招聘优质主播比较困难，且难以负担主播的昂贵费用。数字人直播则不受地域、环境限制，我们可以提供官方形象及开播方案，实现低成本开播。

▐ 业务服务对象：

目前已成功服务多个行业：

自营商家：天猫超市，喵速达，淘宝秒杀，百亿补贴，淘宝买菜，天天热卖，淘工厂等
行业：3C，食品，大家电，快消，家居，汽车等
通过提供24小时不间断的直播服务能力，淘宝直播数字人为商家提供更高效、更经济的解决方案。

核心链路总览

工程链路

问题：

AI与工程如何结合，如何与音视频技术结合？

▐ 直播核心链路+一个字节的旅行

如何开始一场直播，接下来剖析下直播过程中发生了什么、有哪些环节以及为什么会有这些环节。

以淘宝直播为例，在直播的过程主要包括了音视频采集、渲染/混音、编码、传输/协议、GRTN、播放器这几个主要的环节。为了方便清晰的展示出这些链路，以一张大图呈现如下，其中同时注明了每个环节存在的必要性：

经过上一节可以大致了解直播的基本流程，众所周知程序员喜欢刨根问底，接下来我们把数据拆分成一个字节，观察一个字节在整个过程中是如何流转的。这里拆分了音频和视频两个链路来介绍音频和视频是如何流转的，并且标明了其在每个环节的数据状态：

▐ 整体架构与流程

LiveCopilot包含了渲染+音视频+AI工程，负责AI能力（LLM、TTS、唇部驱动等）在直播场景落地。其围绕 AI工程、音视频渲染、直播与短视频三大核心能力建设。（因部分内容因涉及内部模块，特此进行模糊处理，望见谅）

架构图：

▐ 降成本与创新

本节主要分享降成本与技术创新的一些思路与路径

因为篇幅原因，主要列出和核心思路及实现方式，欢迎沟通交流！

降成本（端云结合）

通过端云结合降低数字人整体成本，已线上落地，并有效降低了整体成本。

TTS拆分

通过TTS拆分提升TTS线上效果，降低机器成本

素材与文案结合

通过拉取商详素材，结合前景分镜视频，有效的丰富了直播讲解内容。（因部分内容因涉及内部模块，特此进行模糊处理，望见谅）

更多....（欢迎找我们讨论交流，不一一列举）

数据与产品化

▐ 产品化思考与小方法

技术探索

核心思路

方向：技术成熟度、行业发展情况
快：和时间赛跑、快速出Demo&验证效果

小方法

关注业内新技术，特别是落地情况
关注行业情况，体验竞品效果
单/半周迭代，每周1-2个Demo

可行性验证

核心思路

种子用户：寻找&培养种子用户
与用户建立信任：服务好用户，赢得信任

小方法

关注核心且积极商家&用户，如荣耀/小米等
线下走访，如天下网商
从用户答疑中与商家建联，服务好商家，赢得信任

产品化

核心思路

深入挖掘用户诉求：建立信任、多沟通。
产品需求来自用户：设身处地、同理心
简单、再简单：减少步骤（哪怕一个点击）、减少功能文档

小方法

种子用户体验群，快速迭代，收集诉求
交互简单，不需要文档就是最好的文档

提升规模

核心思路

核心竞争力：价格、易用性、效果
差异性：新的功能，别人做不到的功能

小方法

竞品调研，试用竞品
可以多问用户，为什么用他，而不用我

▐ 挑战

肢体驱动
数字人成本进一步降低（端+云）

应用场景展望

数字分身&客服：专属人设大模型，让多个一样的你同时直播、交流！（我们正在做）
帮助残疾人直播：帮助聋哑人讲话，表达自己；帮助残障人士开播！（我们正在做）
千人千面：让每个人拥有一个专属数字人助理，有颜声音甜，陪你讲话、聊天、答疑！（我们正在做）
教育普惠：教师人设大模型+数字人，让每个孩子拥有专属老师，共享普惠教育！
数字记忆：克隆自己、亲人的人设、声音、形象，保留一份永久的分身和记忆，留给自己与儿女！可以聊天、可以述说，可以唠家常

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2025-09-23

专访Plaud中国区CEO：我们只做“必须做”和“不做要死”的事

2025-09-21

一款随时心理陪伴的AI硬件

2025-09-20

硬件不行，AI失灵，AI硬件创业者的第一道生死关

2025-09-19

刚刚，港版 iPhone 17 Air 抢空！eSIM+系统级AI，国行果粉实名羡慕

2025-09-15

钉钉AI硬件DingTalk A1，开会摸鱼的神

2025-09-11

手机敲三下，1秒录入客户信息：我用AI+n8n搭建的数据同步系统

2025-09-09

Rokid Glasses应用心愿单-采购清单

2025-09-05

Rokid Glasses优化设想

了解更多

了解更多

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

刚刚，港版 iPhone 17 Air 抢空！eSIM+系统级AI，国行果粉实名羡慕

2025-09-19

微信支付这波操作把我干懵了，Agent能赚钱？

2025-07-08

AI录音卡片大比拼：一文讲懂谁更值得买

2025-09-02

饿了么联创做了个 AI 日历拿了 1100 万美金，华人团队做的 AI 招聘突破 100 万美金 ARR

2025-07-07

iPhone16 接入 Grok 4，国行果粉同步全球最强AI

2025-07-22

AI硬件的Aha Moment到了吗？

2025-09-02

OpenAI 的第一款 AI 硬件，竟然是一支笔？

2025-07-08

我用飞书表格，实现门店的多屏的无人化管理

2025-08-25

Rokid Glasses优化设想

2025-09-05

为什么钉钉、360也要入局AI录音卡片？被种草之后一个反思：虽然很好用，但Rabbit R1的致命问题依旧存在

2025-09-02

大家都在问

AI硬件的Aha Moment到了吗？

2025-09-02

粉笔推出AI智能音箱：AI战略重要一环？

2025-08-15

微信支付这波操作把我干懵了，Agent能赚钱？

2025-07-08

OpenAI 的第一款 AI 硬件，竟然是一支笔？

2025-07-08

企业当前适合引入大模型驱动的智能运维吗？

2025-05-27

我们是否应该用 Lite-GPU 构建 AI 集群？

2025-05-24

下一代软件交互：传统应用如何进化成AI Agent？

2025-05-17

A100、4090、RTX 6000 Ada、RTX 4000 Ada，谁是AI推理时代的真香卡？

2025-05-14

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS 提示词框架提示词技巧 AI+电商 AI面试数字员工 ChatBI 知识管理开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部