免费POC, 零成本试错
AI知识库

53AI知识库

学习大模型的前沿技术与行业应用场景


我要投稿

世界模型 LingBot-World,正式开源!

发布日期:2026-01-29 15:09:34 浏览次数: 1547
作者:魔搭ModelScope社区

微信搜一搜,关注“魔搭ModelScope社区”

推荐语

蚂蚁灵波团队开源世界模型LingBot-World,为具身智能和自动驾驶打造高保真数字演练场,实现实时交互与长时序一致性。

核心内容:
1. LingBot-World的核心技术特性与设计初衷
2. 解决真实世界交互数据稀缺问题的创新方案
3. 在视频质量、动态程度和交互能力上的业界领先表现

杨芳贤
53AI创始人/腾讯云(TVP)最具价值专家
继高精度空间感知模型 LingBot-Depth 与具身大模型 LingBot-VLA 后,今天,蚂蚁灵波团队正式开源世界模型 LingBot-World。

LingBot-World 是一个专为交互式世界模型设计的开源框架。其核心 LingBot-World-Base 致力于提供高保真、可控制且逻辑一致的模拟环境。该模型由一个可扩展数据引擎(Scalable Data Engine)驱动,通过从大规模游戏环境中学习物理规律与因果关系,实现了与生成世界的实时交互。


视频质量、动态程度、长时序一致性与交互能力等关键指标上,LingBot-World 均展现出业界领先的性能。团队希望为具身智能、自动驾驶及游戏开发领域,提供一个高保真、高动态、可实时操控的“数字演练场”。

图片

LingBot-World 在适用场景、生成时长、动态程度、分辨率等方面均处于业界顶尖水平


01


直面挑战:真实世界交互的高昂成本



具身智能的规模化落地,面临一个核心挑战 —— 复杂长程任务的真机训练数据极度稀缺,在真实世界中获取用于训练的数据,尤其是涉及复杂、长程任务的数据,成本极高且充满不确定性。


世界模型(World Model)为这一困境提供了解决方案。它能够在数字世界中构建一个与物理世界规律一致的仿真环境,让智能体在其中进行低成本、高效率的“演练”与“试错”。通过在仿真环境中学习,智能体能够理解行为与结果之间的因果关系,从而将在虚拟世界习得的经验,迁移并应用于真实世界的任务中。


02


LingBot-World核心技术特性



LingBot-World 的设计初衷,正是为了打造这样一个足够真实、可交互、可泛化的“数字演练场”。为此,团队围绕几个核心技术方向进行了深入探索。


长时序一致性与记忆能力

视频生成领域普遍存在“长时漂移”问题,即生成时间一长,便可能出现物体变形、细节塌陷、主体消失或场景结构崩坏等现象。针对这一难题,LingBot-World 通过多阶段训练及并行化加速策略,实现了近 10 分钟的连续稳定无损生成,为长序列、多步骤的复杂任务训练提供了可靠支撑。



在压力测试中,即便镜头移开长达 60 秒后返回,场景中的核心物体依然能保持其结构与外观的一致性。

图片

高动态环境下,镜头长时间移开后返回,车辆形态外观仍保持一致


图片

镜头长时间移开后返回,房屋仍存在且结构一致


高保真实时交互

LingBot-World 告别了随机的“幻觉”式生成。它支持精细化的、由动作驱动的生成(action-conditioned generation),能够精确响应用户指令,渲染出高质量且符合物理真实感的动态场景。


一个真正可用的“演练场”,必须具备实时交互的能力。LingBot-World 在此方面进行了深度优化,可实现约 16 FPS 的生成吞吐,并将端到端交互延迟控制在 1 秒以内。这意味着,用户可以通过键盘或鼠标实时控制角色与相机视角,画面能够根据指令即时反馈。此外,模型还支持通过文本指令触发环境变化与世界事件,例如调整天气、改变画面风格,并在保持场景几何关系相对一致的前提下完成动态生成。



Zero-shot 泛化与混合数据策略

为解决世界模型训练中高质量交互数据匮乏的问题,团队采用了一种创新的混合数据采集策略。一方面,通过清洗大规模网络视频以覆盖多样化的场景;另一方面,结合游戏采集与虚幻引擎(UE)合成管线,从渲染层直接提取无 UI 干扰的纯净画面,并同步记录下操作指令与相机位姿。这种方式为模型学习“动作如何改变环境”提供了精确对齐的训练信号。


得益于此,LingBot-World 具备了良好的 Zero-shot 泛化能力。仅需输入一张真实的城市街景照片或游戏截图,模型即可生成对应的可交互视频流,无需针对单一场景进行额外训练,显著降低了在不同场景中的部署与使用成本。



03


从实验室到真实场景



团队相信,LingBot-World 的价值在于其作为“数字演练场”,凭借长时序一致性(也即记忆能力)、实时交互响应,以及对"动作-环境变化"因果关系的理解,能够在数字世界中"想象"物理世界,从而为智能体的场景理解和长程任务执行提供一个低成本、高保真的试错空间。LingBot-World 支持的场景多样化生成(如光照、摆放位置变化等),也有助于提升具身智能算法在真实场景中的泛化能力。


同时,团队也认识到当前模型存在的局限。例如,高昂的推理成本使其暂时难以在消费级硬件上普及、模型的长期稳定性仍有提升空间、控制的精细度也有待进一步加强。这些将是未来持续努力的方向。

53AI,企业落地大模型首选服务商

产品:场景落地咨询+大模型应用平台+行业解决方案

承诺:免费POC验证,效果达标后再合作。零风险落地应用大模型,已交付160+中大型企业

联系我们

售前咨询
186 6662 7370
预约演示
185 8882 0121

微信扫码

添加专属顾问

回到顶部

加载中...

扫码咨询