我要投稿

腾讯新研究Follow-Your-Emoji：可生成面部说话视频的真人、卡通、雕塑、动物...

发布日期：2024-07-24 18:25:05 浏览次数： 2534

近日，由香港科技大学、腾讯混元已经清华大学联合推出了Follow-Your-Emoji，一种基于扩散的肖像动画框架，它使用目标地标序列为参考肖像制作动画。

肖像动画的主要挑战是保留参考肖像的身份并将目标表情转移到此肖像上，同时保持时间一致性和保真度。

为了克服这些挑战，Follow-Your-Emoji采用了两项精心设计的先进技术，以增强其稳定扩散模型的性能。

该团队引入了一种新颖的表情感知地标，这是一种显式的运动信号，用于指导动画过程。

通过使用地标编码器提取表达感知地标序列的特征，并首先将这些特征与多帧噪声融合，然后利用渐进策略随机屏蔽输入潜在序列的帧。

最后，我们将此潜在序列与融合的多帧噪声连接起来，并将其馈送到 Denoising UNet 以进行视频生成的去噪过程。

外观网络和图像提示注入模块帮助我们的模型保留参考肖像的身份，并且时间注意力保持时间一致性。

这种地标不仅确保了推理过程中肖像与目标运动之间的精确对齐，还有助于提高模型在描绘夸张表情（例如大瞳孔运动）方面的能力，同时避免了身份泄露的风险。

其次，该团队还提出了一种面部细粒度损失函数，它利用表情和面部掩码来提高模型对微妙表情变化的感知能力，并改善对参考肖像外观的重建效果。

这使得该方法在控制各种风格肖像的表情方面展现出卓越的性能，包括真实人物、卡通角色、雕塑作品，甚至是动物形象。

通过实施一种简单而有效的渐进式生成策略，该团队将模型扩展到了稳定的长期动画领域，从而进一步提升了其应用潜力。

为了填补该领域基准测试的空白，他们创建了EmojiBench，这是一个综合性的基准测试集，包含了各种肖像图像、驱动视频和地标数据。

EmojiBench 的示例，在肖像图像中具有高表情多样性、夸张性和多种视觉风格

通过在EmojiBench上进行了广泛的评估，以充分验证Follow-Your-Emoji方法的优越性。

这些评估结果表明，最新方法在处理复杂表情和动画任务时具有显著的优势。

而为了训练最新模型，他们引入了一个新的表情训练数据集，其中包含来自 115 个受试者的 18 个夸张表情和 20 分钟真人视频。

以下是单动作+多肖像训练结果：

以下是单人肖像+多人动作训练结果：

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-03-18

GLM-OCR技术细节全公开

2026-03-18

Midjourney V8 正式上线：高清模式、文字无错、生成速度提升5倍

2026-03-15

我复刻了 Claude 刚发布的生成式 UI 交互！

2026-03-12

Gemini Embedding 2把多模态信息整合同一向量空间了，还需要多向量列吗？

2026-03-11

Gemini Embedding 2：首个原生五模态 embedding 模型

2026-03-11

Google 发布首个全模态 Embedding 2 模型，文本图片音视频 PDF 统一到一个向量空间

2026-03-11

谷歌首个原生多模态向量模型发布：Agent 可以用文字搜图片、用图片搜视频了...

2026-03-05

零帧起手 Codex × Figma 双向工作流实操

联系获取

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

多模态检索新突破！Qwen3-VL-Embedding/Reranker AI 真正“看懂“你在搜什么，从图片到视频全拿下！

2026-01-10

蓝色光标×火山引擎：用AI实现多模态内容创作自由

2026-01-05

Seedance 2.0 正式发布

2026-02-12

KDD 2026 | 小红书内容审核：Hi-Guard 让内容治理“知其然，更知其所以然”

2026-01-16

DeepSeek-OCR 2 来了，让 AI 也能像人一样，带着逻辑去看图

2026-01-27

Seedance 2.0上线火山方舟体验中心，API即将开放

2026-02-12

一篇文章讲清楚：到底什么是NotebookLM？除了PPT，它还能做啥？

2025-12-31

文心大模型5.0正式版，上线！

2026-01-22

NanoBanana 2.0 来了，对比前一代和即梦 5.0 lite，它依旧强的离谱

2026-02-27

Google 发布首个全模态 Embedding 2 模型，文本图片音视频 PDF 统一到一个向量空间

2026-03-11

大家都在问

Gemini Embedding 2把多模态信息整合同一向量空间了，还需要多向量列吗？

2026-03-12

一篇文章讲清楚：到底什么是NotebookLM？除了PPT，它还能做啥？

2025-12-31

GenAI的多模态数据智能平台如何构建？

2025-08-04

本地AI对话神奇，ChatWise到底有什么用？

2025-05-26

什么是基于知识图谱的多模态推理？

2025-05-13

AI数字人领域重大突破：告别拼凑式合成，阿里OmniTalker能否开启音视频一体化新时代？

2025-04-08

Midjourney V7全面测评：50组多风格提示词实测，是否还有领先优势?

2025-04-05

如何结合多模态RAG和异步调用实现大模型内容理解？

2025-03-30

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean Openclaw

应聘简历请发送至： ceo@53ai.com

联系我们

售前咨询

预约演示

微信扫码

添加专属顾问

回到顶部