Ming-Flash-Omni 音视图文全模态技术报告解读 —— 一为全，全为一

Ming-Flash-Omni 是一个基于稀疏混合专家（MoE）架构的统一多模态大模型，在视觉、语音、图像、文本全模态上同时实现领先的理解与生成能力，以 100B 总参数、仅 6.1B 激活参数的高效设计，刷新多项 SOTA 记录。

• 统一架构：单一模型能够同时处理理解（如 OCR、视频问答）与生成（如 TTS、文生图、图像编辑），实现全模态能力集中化部署。

• 极致效率：基于 Ling-Flash-2.0 的稀疏 MoE 架构，推理时仅激活 6.1B 参数，兼顾百亿级容量与低延迟响应。

• 语音识别：在全部 12 项 ContextASR 基准上达到 SOTA，显著提升上下文感知与方言识别能力（覆盖 15 种中文方言）。

• 图像生成：支持高保真文本渲染、身份一致性编辑，并首次引入 生成式分割（Generative Segmentation），实现像素级语义控制。

• 视觉编码器：视觉编码器原生支持高分辨率图像与视频输入，并引入 VideoRoPE 位置编码，有效建模长视频中的时序动态与帧间依赖关系。
  

• 音频编码器：采用Whisper Encoder提取音频表示，在原始 Whisper 权重基础上，进一步在 70 万小时高质量语音数据上进行加训，显著提升对中文语音、口音及上下文语义的建模能力，最大限度保留原始音频的丰富信息，同时具备声学和语义特征。

• 分别设计 V-Router（视觉）、A-Router（音频）、T-Router（文本），根据模态动态分配 token 至最适配的专家子网络。

• 采用预训练音频头，输入为 LLM 生成的文本 token + 下采样 VAE latent，输出用于 flow-matching 的条件信号；

• 采用轻量 DiT解码器，支持文本->图像、图像编辑；

• 创新引入 Refiner 模块，将高层语义 token 转化为像素级掩码，实现referring expression segmentation（如“分割图中的红色汽车”），为生成式分割与精细编辑提供空间控制基础。

• 首先采用 D-GRPO（Dynamic GRPO），在具备可验证答案的任务（如数学推理、OCR、事实问答）上，通过动态采样与任务奖励机制强化正确推理链；

• 随后引入 U-DPO（Unified DPO），在人类偏好数据上进行对齐，并额外加入指令微调辅助损失，有效缓解 DPO 训练中的指令遵循退化问题，提升输出风格一致性与任务遵从性。

• 基于 Flow Matching 目标预训练轻量 DiT 解码器，实现高质量文生图；

• 为支持图像编辑，将参考图像的 VAE 潜变量与去噪过程中的噪声 latent 拼接，作为条件输入，强制生成结果与原图在结构和语义上保持一致；

• 引入 ByteT5 词级 caption 编码器，将细粒度文本描述注入生成过程，显著增强文本条件密度与语义对齐精度。

• 复用提前预训练好的连续声学生成模型(基于VAE-GAN的统一语音 tokenizer + flow-matching 声码器)，未进行任何微调或端到端联合训练，既保障了TTS的高保真度，又显著降低训练成本与复杂度。

• 数据异构性：训练过程中需动态切换文本、图像、音频、视频等多种模态，其输入张量在序列长度、分辨率、采样率等方面差异巨大，导致 batch 内样本长度高度不均，引发严重的显存碎片与计算负载不均衡；

• 模型异构性：除主干 Transformer 外，还需集成视觉编码器（如 ViT）、音频编码器（如 Whisper-style CNN/Transformer）等异构子模块。这些轻量但计算密集的编码器若并行策略不当，极易在流水线并行中产生空泡（pipeline bubble），拖累整体吞吐。

• 序列打包（Sequence Packing）：将多个变长的图文音视频样本密集拼接至固定长度的训练序列中，显著提升 GPU 显存利用率与计算密度，实测 GPU 利用率提升 40%+；

• 灵活编码器分片（Flexible Encoder Sharding）：支持视觉/音频编码器在数据并行（DP）、张量并行（TP）、流水线并行（PP）三个维度自由切分，实现与主干 MoE 模型的负载均衡协同，有效消除 pipeline bubble。

• 视觉理解：在 OCR、多图推理、视频时序理解等任务上达到主流 Omni 模型水平；

• 图像生成：在图像生成 GenEval 基准上取得 0.90 的高分, 为当前非强化学习方法中的最佳结果，尤其在位置与颜色等细粒度控制上优势明显；

• 图像编辑与分割: 编辑一致性与生成式分割性能大幅超越同类统一模型，支持高保真身份保留、文本渲染及像素级语义操控；

• 语音理解：在全部 12 项 ContextASR 基准上达到SOTA，上下文感知与命名实体识别能力显著优于现有 Omni 模型。