我要投稿
SEED-Story由MLLM驱动，能够从用户提供的图片和文本作为故事的开始，生成多模态长篇故事，模型、代码与数据都已开源。生成的故事包括丰富且连贯的叙事文本，以及在角色和风格上保持一致的图片。故事可以跨越多达25个多模态序列，尽管在训练期间仅使用最多10个序列。
左侧：在多模态故事生成中预测下一个词时的注意力图可视化。我们观察到重要的注意力集中在整个序列的第一个词（"0"词），标点符号词，与BoI（图像开头）相邻的词和与EoI（图像结尾）相邻的词上。右侧：(a) 密集型注意力图，它保留了KV缓存中的所有词。(b) 窗口型注意力，通过滑动窗口逐出前面的词。(c) 注意力汇聚，它基于窗口型注意力保留了开头的词。(d) 多模态注意力汇聚，它基于窗口型注意力保留了文本词的开头、图像词以及图像词的结尾。这可以有效地使我们的模型泛化到生成比训练序列长度更长的序列。
来自SEED-Story的多模态故事生成示例。它展示了从同一初始图像生成的两个叙事分支。顶部分支以引用“戴黄帽子的男人”的文本开始，导致包含该角色的图像生成。底部分支开始时没有提及男人，结果导致故事在排除他的情况下与第一个分支发生分歧。
https://github.com/TencentARC/SEED-StorySEED-Story: Multimodal Long Story Generation with Large Language Modelhttps://arxiv.org/pdf/2407.08683
53AI，企业落地大模型首选服务商
产品：场景落地咨询+大模型应用平台+行业解决方案
承诺：免费POC验证，效果达标后再合作。零风险落地应用大模型，已交付160+中大型企业
2025-07-14
探索AI营养师：多模态知识图谱在食品领域大模型问答升级的革命性作用
2025-07-13
多模态商品图文生成系统可落地的完整方案
2025-07-08
Coze、Dify、Ragflow等AI平台对比指南
2025-07-02
基于 Ollama 多模态引擎的 Qwen 2.5 VL 模型部署及其应用
2025-07-01
Dify落地知识库场景的小思考及多模态RAG结合图像信息的几种策略评估
2025-06-30
RAG知识库构建新框架-EasyDoc小模型+多模态大模型结合的文档智能解析框架
2025-06-23
Dify v1.4.0中的Multi-Modal LLM Output：基本操作和原理
2025-06-19
搜索 ≠ 简单匹配！0代码实现语义级图文互搜
2025-05-14
2025-05-16
2025-05-25
2025-05-16
2025-05-12
2025-05-15
2025-05-08
2025-05-13
2025-05-15
2025-07-02
回到顶部
粤ICP备14082021号