我要投稿

腾讯SEED-Story：生成丰富、叙事连贯及风格一致图文故事的大模型

发布日期：2024-07-24 08:29:04 浏览次数： 2881

SEED-Story由MLLM驱动，能够从用户提供的图片和文本作为故事的开始，生成多模态长篇故事，模型、代码与数据都已开源。生成的故事包括丰富且连贯的叙事文本，以及在角色和风格上保持一致的图片。故事可以跨越多达25个多模态序列，尽管在训练期间仅使用最多10个序列。

SEED-Story训练过程包括三个阶段：

在第一阶段，我们预训练一个基于SD-XL的去标记化器，通过接受预训练的ViT的特征作为输入来重建图片。
在第二阶段，我们采样一个随机长度的交错图像-文本序列，并通过对目标图像的ViT特征和可学习查询的输出隐藏状态之间的下一个词预测和图像特征回归来训练MLLM。
在第三阶段，从MLLM回归得到的图像特征被输入到去标记化器中，以调整SD-XL，增强生成图片中角色和风格的一致性。

左侧：在多模态故事生成中预测下一个词时的注意力图可视化。我们观察到重要的注意力集中在整个序列的第一个词（"0"词），标点符号词，与BoI（图像开头）相邻的词和与EoI（图像结尾）相邻的词上。右侧：(a) 密集型注意力图，它保留了KV缓存中的所有词。(b) 窗口型注意力，通过滑动窗口逐出前面的词。(c) 注意力汇聚，它基于窗口型注意力保留了开头的词。(d) 多模态注意力汇聚，它基于窗口型注意力保留了文本词的开头、图像词以及图像词的结尾。这可以有效地使我们的模型泛化到生成比训练序列长度更长的序列。

StoryStream数据集和现有多模态故事生成数据集的样本数据。StoryStream多模态故事序列包括视觉上吸引人的高分辨率图片，以及详细叙述的文本（如下方划线所示），非常接近真实世界的故事书。此外，故事在长度上也更加延伸。

实验证明了SEED-Story模型在多模态故事生成方面的先进性，特别是在生成长篇故事和维持生成内容的一致性与质量方面。

MM-interleaved与SEED-Story多模态故事生成的定量评估。(a)：显示FID得分的直方图。(b, c, d)：使用GPT-4V分别选择MM-interleaved和SEED-Story生成的首选结果。饼图显示了胜率，其中“平局”表示GPT-4V以同等分数评估了它们的成果。

来自SEED-Story的多模态故事生成示例。它展示了从同一初始图像生成的两个叙事分支。顶部分支以引用“戴黄帽子的男人”的文本开始，导致包含该角色的图像生成。底部分支开始时没有提及男人，结果导致故事在排除他的情况下与第一个分支发生分歧。

SEED-Story多模态长篇故事生成结果

使用不同注意力机制生成长故事的可视化。采用其他机制的模型在生成长序列时会崩溃，而我们的模型采用多模态注意力汇聚机制始终如一地生成高质量的图像。

https://github.com/TencentARC/SEED-StorySEED-Story: Multimodal Long Story Generation with Large Language Modelhttps://arxiv.org/pdf/2407.08683

53AI，企业落地大模型首选服务商

产品：场景落地咨询+大模型应用平台+行业解决方案

承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业

相关资讯

2026-04-27

一个神奇的视频生成 Skills，实测，狂喜

2026-04-26

你的一人公司品牌部，带着Image-2模型的lovart中文版来了

2026-04-22

MNN-Sana-Edit-V2：端侧运行的图像漫画风编辑大模型

2026-04-22

刚刚！Codex 居然能直接画图了，OpenAI 凌晨甩出 Image 2.0

2026-04-21

PaddleOCR 3.5 发布：Web 端直用、文档一键转 Markdown，生态交互新体验

2026-04-21

用Claude Code剪视频，自动去口癖、加字幕、调色，完全免费开源

2026-04-15

刚刚，李飞飞最新成果发布，手机也能跑亿级粒子的 3D 世界了｜附体验地址

2026-04-09

豆包「打电话」升级 Seeduplex：周围再吵，只认准你的声音

联系获取

160+中大型企业正在使用53AI

立即咨询预约演示

把握AI发展的机遇，共同探索、共同进步

2025-01-22

如何打造基于GenAI的员工服务机器人

2025-01-22

热点资讯

刚刚！Codex 居然能直接画图了，OpenAI 凌晨甩出 Image 2.0

2026-04-22

震惊！即梦推出 CLI，Agent 一行命令生成 Seedance 2.0 视频，AI 视频井喷

2026-04-01

零帧起手 Codex × Figma 双向工作流实操

2026-03-05

Seedance 2.0 正式发布

2026-02-12

NanoBanana 2.0 来了，对比前一代和即梦 5.0 lite，它依旧强的离谱

2026-02-27

Seedance 2.0上线火山方舟体验中心，API即将开放

2026-02-12

Google 发布首个全模态 Embedding 2 模型，文本图片音视频 PDF 统一到一个向量空间

2026-03-11

全解读｜智谱 GLM-5V-Turbo 发布，多模态 Coding 基模

2026-04-02

GLM-OCR技术细节全公开

2026-03-18

Qwen-Image-2.0: 字字清晰，张张细腻

2026-02-10

大家都在问

Gemini Embedding 2把多模态信息整合同一向量空间了，还需要多向量列吗？

2026-03-12

一篇文章讲清楚：到底什么是NotebookLM？除了PPT，它还能做啥？

2025-12-31

GenAI的多模态数据智能平台如何构建？

2025-08-04

本地AI对话神奇，ChatWise到底有什么用？

2025-05-26

什么是基于知识图谱的多模态推理？

2025-05-13

AI数字人领域重大突破：告别拼凑式合成，阿里OmniTalker能否开启音视频一体化新时代？

2025-04-08

Midjourney V7全面测评：50组多风格提示词实测，是否还有领先优势?

2025-04-05

如何结合多模态RAG和异步调用实现大模型内容理解？

2025-03-30

热门标签

内容创作大模型技术个人提效 langchain llamaindex 多模态技术 RAG技术智能客服知识图谱模型微调 RAGFlow coze Dify Fastgpt Bisheng Qanything AI+汽车 AI+金融 AI+工业 AI+培训 AI+SaaS Skill 提示词技巧 AI+电商 AI面试数字员工 ChatBI AI知识库开源大模型智能营销智能硬件智能化改造 AI+医疗 MaxKB Palantir Glean Openclaw