世界模型102：三条技术路线与大一统趋势的架构解读

在上一篇《世界模型 101》中，我们回答了三个问题：世界模型是什么、有哪些种类、能干什么。当时借用了李飞飞的功能三分法——渲染器、模拟器、规划器——但也指出了它的局限：它只规定了输出，没有回答世界模型内部是如何表征世界、如何运作的。

这一篇我们就来补上这块拼图，换一个更本质的视角——以表征为中心：根据系统如何表征和传播"世界状态"，对现有世界模型进行分类。沿着这条轴，当前主流的技术架构有三条路线：

观测级模型：直接在像素、体素或视频标记（token）上做预测；

潜在空间模型：学习紧凑的预测性状态；

3D 增强与以对象为中心的模型：引入显式的空间、几何或实体级结构。

三条路线各有取舍。而在它们之上，一个更大的趋势正在发生：生成、理解、交互和多模态基础能力，正被整合进共享的统一架构。下面逐一展开。

观测级模型：直接预测像素，规模就是力量

观测级生成世界模型把"建模世界"理解为高维观测的合成——直接预测未来的像素、体素或视频 token。这主要指当前数字世界的视频生成类模型：OpenAI 的 Sora、字节跳动的 Seedance、谷歌的 Genie、自动驾驶公司 Wayve 的 GAIA 等。严格来说，它们并非以决策为中心的世界模型，但代表了一种从大规模视频中学习物理先验的"观察层面"路径。核心优势在于规模。

互联网视频提供了一个庞大的弱监督语料库，可以学习外观、运动、物体交互和场景动态——这正是 101 中讲过的"数据决定上限"逻辑的直接兑现。因此这类模型通常有很高的视觉保真度，对现实世界现象的覆盖也最广。

但它有两个硬伤：

视觉上的合理 ≠ 物理上的正确，像素空间模型可能产生"局部可信、全局不一致"的推演结果——尤其在较长时间尺度上，物体恒存性、接触动态、因果关系、场景一致性的误差会不断累积。

计算昂贵，预测发生在高维观测空间，每一帧都要"画"出来，成本居高不下。

这两个硬伤，恰好引出了第二条路线的动机。

潜在空间模型：不画像素，只建模"与决策相关"的状态

潜在空间世界模型的核心转向是：从建模视觉外观，转向建模任务相关状态的演化——不再像像素空间那样对所有像素做还原式建模。

早期代表是 PlaNet 与 Dreamer 系列：用潜在动力学模型（如循环状态空间模型 RSSM）把高维观测编码成紧凑的状态表征，在此之上做"基于想象的规划"。由于推演对象是紧凑的潜在状态而非全分辨率像素，这类方法能更自然地扩展到长期预测、更好地应对部分可观测性，并让智能体在固定计算预算内评估更多假设性的未来。

除了效率，潜在建模还改变了优化目标本身。模型不再把算力花在重建每一个 RGB 细节上，而是专注于那些变化缓慢、且与决策密切相关的因素——正是这些因素决定了"未来的可控性"：几何形状、物体关系、可供性、接触动力学、时间演化。

这条思路上有一系列递进的证据：TD-MPC / TD-MPC2 表明，规划可以直接在面向任务的潜在空间中进行，无需完整的像素解码器；对比式与免重建的世界模型（C-SWM 等）表明，绕开像素重建能减少对纹理、光照等高频外观干扰的过拟合，提升鲁棒性；JEPA 式的预测性表征学习（I-JEPA、V-JEPA）更进一步，直接质疑"完全视觉重建"的必要性——这正是 101 中 LeCun 学派立场的技术落地；LDA-1B、Motus 等具身学习系统则证明，无需逼真重建整个视觉场景，从紧凑的任务导向潜在表征中就能学到有效策略。

一句话总结这条路线的优势：保留低频的、与因果相关的结构，抑制表层视觉细节，因此更快、也更契合控制逻辑。但它同样有代价——过度抽象的风险：模型可能忽略视觉上细微、却对决策至关重要的信息，比如机械臂与物体的接触、细小障碍物、物体姿态的微小变化或形变。

所以核心挑战不是"压缩得多狠"，而是学到一种剔除外观噪声、同时保留可控性因素的潜在模型。这也改变了评估方式：评判潜在世界模型，不应只看重建误差或预测误差，而要看它的推演结果是否保留了后续规划与控制所必需的信息。

3D 增强与对象中心模型：给世界装上几何和实体

第三条路线针对的是前两条共同的盲区：内部状态难以解释，且可能与场景的真实三维布局不符。对具身 AI 来说这是明显短板——模型需要支持对自由空间、物体位置、遮挡、视角变化、物体恒存性和物理合理性的推理。

为此，近期研究引入了三类结构化的状态空间：

其一，占用（Occupancy）与鸟瞰图（BEV）表示。相比像素，它们更直接地刻画场景的空间结构，可用于推理自由空间、障碍物、语义区域与未来场景演化。自动驾驶领域的 OccWorld、OccSora、Drive-OccWorld、BEVWorld，以及把这一思路拓展到室内具身预测的 RoboOccWorld 都属此类。关键优势是：预测结果不仅视觉上合理，还支持空间查询。

ble

其三，以对象为中心的表示。它解决一个互补问题：即便有了稠密的 3D 状态，也未必能分离出关键实体。OP3、C-SWM、Slot Attention、SAVi、SlotFormer 等方法学习对象级/槽级的表示与动态，支持组合式的预测与推理；FOCUS 等机器人系统进一步把对象级抽象与操作、指令条件预测连接起来。这类抽象的价值在于：许多具身任务本来就是围绕持久性实体及其关系定义的，而非围绕全局图像模式。

最有前景的方向是组合，而非站队：占用表示管自由空间和碰撞推理，NeRF/3D 高斯管视角一致的渲染，物体槽管组合式推理。EnerVerse、EnerVerse-AC 等混合式具身系统已在朝这个方向走——把多视角预测、记忆、4D 场景表示、动作条件化和具身未来生成衔接起来。

不过要泼一盆冷水：引入 3D 结构本身并不自动解决世界建模问题。模型可能精确重建了空间，却仍抓不住可供性、因果关系和任务语义；对象中心模型简洁易解释，但在杂乱和遮挡场景下可靠的物体发现仍是难题；NeRF/3D 高斯能渲染精细视图，但动态场景、长时程预测和闭环交互依然充满挑战。

关键问题从来不是"看起来是否更 3D"，而是状态能否对物理世界做出有效而连贯的表征——几何一致、时间稳定、有物体感知、符合物理规律，且可被下游的推理、规划、控制模块访问。

大一统趋势之一：生成与理解一体化

看完三条路线，再看它们头顶正在发生的融合。研究领域日益形成一项共识：未来的世界模型不应只是生成器，而应是生成与理解一体化的模型——既能合成未来的观测，又能理解物体、空间关系、时间动态、因果与物理合理性。

这一方向体现在 LWM、WorldGPT、HERMES 系列、GaussianDWM、UniDrive-WM 等系统中：它们都试图在统一框架内，把场景/视频理解与未来状态生成衔接起来。

相邻的多模态基础模型——Chameleon、Janus/Janus-Pro、Emu 系列——也印证了同一趋势：理解与生成可以在共享 token 或自回归架构中统一处理。世界建模正在超越"视觉上引人入胜的合成"，走向能够协同表征、推理并生成动态世界的架构。

大一统趋势之二：世界-动作模型，把"想象"接上"行动"

但物理世界不仅被观察，还被作用于。从部分可观测决策的视角看，具身智能体只能获得底层世界状态的部分观测，而它的行动会干预状态转移、塑造未来的观测。因此，生成与理解的统一还不够——世界模型还必须把设想中的未来与可执行的动作联系起来。这催生了世界-动作模型（World-Action Model, WAM）：把世界建模与动作/策略建模整合进同一个生成框架，不再把动态预测与策略学习当作独立模块，而是直接从"视频-动作"数据中学习二者的耦合关系。例如：

DreamZero 表明，对视频与动作联合建模，可以把世界模型直接转化为零样本策略；

LingBot-VA 把视觉动力学预测与动作推断统一在一个自回归的视频-动作框架内；τ0-WM 集成了动作生成、视频预测与未来状态评估，用于机器人操作；

UWM、Cosmos-Policy、GigaWorld-Policy、Fast-WAM、Flash-WAM 等则探索了联合扩散、以动作为中心的预测、以及测试时无需显式视频想象的快速推理等多种结合方式。

这些工作共同标志着一个转变：从被动的世界模拟，转向既能想象物理未来、又能基于该未来生成动作的模型。这也呼应了 101 中的判断——WAM 同时是模拟器和规划器，因为未来状态预测本身就是动作生成的组成部分。

大一统趋势之三：全模态，迈向物理 AI 的通用后端

第三重统一发生在模态维度：世界模型正从单一或少数模态，扩展至全模态物理建模——把语言、图像、视频、音频、动作、三维结构与传感器数据，整合进对物理世界的共享表征。

还记得 101 中给出的世界模型三特性吗？"全模态"排在第一位，这里就是它的落地进程。NVIDIA Cosmos 3 与 Seedance 2.0 是这一宏大尝试的典型范例：明确致力于将语言、图像、视频、音频与动作统一到一个混合 Transformer 架构中，超越以视觉为中心的生成，迈向通用的物理 AI 后端。

另有一批系统虽未构成完整的全模态世界模型，但提供了重要的组成模块：Seedance 2.0 探索从文本、图像、音频、视频输入生成统一的多模态音视频内容；Wan/Wan2.1 提供可扩展的开放视频生成骨干；腾讯 HunyuanVideo 与 HunyuanWorld 把视频生成拓展至可探索、可交互的三维世界构建；Kling-Omni 集成多模态指令跟随、生成、编辑与推理；Qwen-Omni 则展示了语言、视觉、音频、视频如何在统一的全模态基础模型中协同处理。

结语：三条路线，一个终点

把这一篇压缩成三句话：三条技术路线，本质是三种表征选择——观测级模型赌"规模出物理"，潜在空间模型赌"压缩出控制"，3D/对象中心模型赌"结构出理解"；它们各自的短板恰好是彼此的长处，未来更可能是拼图组合，而非单选题。评判标准正在改变——不是画得像不像、重建误差多低，而是模型的状态和推演，是否保留了下游推理、规划与控制所必需的信息。