推荐语
通义万相最新开源模型Wan2.2-S2V，仅需图片+音频即可生成电影级数字人视频，大幅提升创作效率！核心内容： 1. 音频驱动视频生成：支持多种类型图片和任意画幅，实现精准口型同步 2. 分钟级长视频生成：通过层次化帧压缩技术实现稳定输出 3. 文本控制功能：可调整镜头运动、角色轨迹等画面细节
杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家
继文生视频、图生视频、首尾帧生视频、全能编辑模型后，通义万相又迎来重磅开源！全新发布的音频驱动的视频模型Wan2.2-S2V仅需一张图片和一段音频，即可生成面部表情自然、口型一致、肢体动作丝滑电影级数字人视频。模型生成视频时长可达分钟级，可大幅提升数字人直播、影视制作、AI教育等行业的视频创作效率。
即日起，用户可在Github、HuggingFace和魔搭社区下载模型，通过阿里云百炼调用API，或在通义万相官网直接体验。
开源地址
GitHub：https://github.com/Wan-Video/Wan2.2
魔搭社区：https://www.modelscope.cn/models/Wan-AI/Wan2.2-S2V-14B
HuggingFace:https://huggingface.co/Wan-AI/Wan2.2-S2V-14B
体验地址
Wan2.2-S2V可驱动真人、卡通、动物、数字人等多种类型图片，并支持肖像、半身以及全身等任意画幅，上传一段音频后，模型就能让图片中的主体形象完成说话、唱歌和表演等动作。
通义团队基于通义万相的通用视频生成能力，融合了文本引导的全局运动控制和音频驱动的细粒度局部运动，实现了复杂场景的音频驱动视频生成；引入AdaIN和CrossAttention两种控制机制，实现了更准确更动态的音频控制效果。
生成时长上，Wan2.2-S2V单次生成的视频时长可达业界领先的分钟级。
Wan2.2-S2V通过层次化帧压缩技术，大幅降低了历史帧的Token数量，通过该方式将motion frames(历史参考帧)的长度从数帧拓展到73帧， 从而实现了稳定的长视频生成效果。
Wan2.2-S2V还支持文本控制，输入Prompt后还可对视频画面进行控制，实现镜头运动、角色轨迹和实体间互动，让视频主体的运动和背景的变化更丰富。
例如，此处的「弹钢琴DEMO」，用户只需上传一张人物弹钢琴的照片、一段歌曲和一段文字，Wan2.2-S2V即可生成一段完整、声情并茂的钢琴演奏视频，不仅能保证人物形象和原图一致，其面部表情和嘴部动作还能与音频对齐，视频人物的手指手型、力度、速度也能完美匹配音频节奏。
// 全参数化训练：支持多种分辨率场景
在模型训练上，通义团队构建了超60万个片段的音视频数据集，通过混合并行训练进行全参数化训练，充分挖掘了Wan2.2-S2V模型的性能。
同时通过多分辨率训练、支持模型多分辨率的推理，Wan2.2-S2V可支持不同分辨率场景的视频生成需求, 如竖屏短视频、横屏影视剧。
粤ICP备14082021号
免费POC，
零成本试错
