世界模型 | 从JEPA演进到WAM：LeWorldModel与Fast-WAM的一条连续技术脉络

转载自公众号：敢敢AUTOHUB

0. 简介

2026 年 3 月到 4 月，世界模型方向连续出现了两组放在一起看才真正有意思的信号。

第一组来自 JEPA 路线本身：从 V-JEPA 2、LeJEPA、Causal-JEPA、LeWorldModel、V-JEPA 2.1 到 ThinkJEPA，这条原本常被当作“抽象表征学习方法”的路线，开始明显分叉成动态视觉先验、轻量潜空间 world model、dense grounding 与长时语义推理等不同分支。

第二组则来自一场更直接的方法论碰撞：2026 年 3 月 13 日公开的LeWorldModel与 3 月 17 日公开的Fast-WAM，几乎在同一时间把“world model 的价值到底留在训练时还是推理时”这个问题摆到了台面上。

如果说第一组信号回答的是“JEPA 这条线现在到底走到了哪”，那么第二组信号回答的就是“当 JEPA 式 latent world model 与大视频 backbone 的 WAM 正面对上时，真正的分歧在哪里”。LeWorldModel 更接近 JEPA 系的潜空间世界模型，强调稳定表征学习、rollout 和 goal-conditioned planning；Fast-WAM 则属于机器人控制中的世界动作模型，强调视频建模怎样在训练阶段塑造更强的内部表示，并在部署时尽量避免昂贵的显式未来生成。把它们放在一起看，会发现当前具身 world model 已经开始分成两种互补倾向：一种继续把 world model 当作推理时可查询的潜空间模拟器，另一种则把 world model 当作训练阶段塑造表征的机制，部署时尽量退到后台。

因此，本文真正要回答的不只是“LeWorldModel 和 Fast-WAM 谁更强”，也不是“JEPA 算不算 world model”，而是三个更关键的问题：JEPA 为什么重新回到具身主线；它现在已经分叉成了哪些真正不同的系统角色；以及 world model 的价值究竟应该更多保留在推理时，还是应该在训练时被吸收到参数里。 为了回答这些问题，本文将从四个层次展开。第一部分先给出一个尽量清晰的世界模型分类，把“动作条件世界模型”“视频世界模型”“联合世界-动作模型”放到统一框架里解释。第二部分梳理 JEPA 的演进，并补上它在 2026 年前后出现的三条新分叉。第三部分再详细拆解 LeWorldModel 与 Fast-WAM 的方法、实验与实现流程。最后一部分则把两篇论文重新放回同一张图里，讨论它们共同指向的研究判断：世界建模最有价值的部分，往往不是把未来画出来，而是把物理结构学进去，并在系统中放到最合适的那一层。

1. 为什么世界模型重新成为机器人研究的核心议题

机器人控制从来不是简单的分类任务。一个系统如果只是把视觉输入直接映射为动作，它当然也可以在很多封闭场景中表现不错，但它对环境的理解往往是局部、短程和脆弱的。一旦任务跨越更长时间尺度，或者需要在未见过的场景里快速适应，这类“直接策略”就会暴露出明显局限：模型会做出合理动作，但未必知道动作将如何改变环境，更谈不上在内部推演不同方案的后果。

这正是世界模型被重新重视的原因。所谓世界模型，本质上是学习一个关于环境动态的内部表示。这个表示既可以是像素级未来视频，也可以是潜空间中的状态转移；既可以只建模观测如何变化，也可以同时建模动作、奖励乃至目标。对机器人来说，世界模型的价值至少体现在三个方面。第一，它让系统能够在执行前进行内部推演，而不是完全依赖在线试错。第二，它能把海量无标签视频或弱标签轨迹转化为关于物理世界的先验，从而缓解机器人数据昂贵的问题。第三，它让控制问题从“看到什么就做什么”转变为“基于世界如何演化来决定做什么”，这会直接改变系统的泛化方式。

过去几年，视频生成模型和视觉表征学习的快速进展，使这条路再次具备现实可行性。早期世界模型经常因为建模能力太弱、长程误差积累太快、数据规模太小而无法落地；但今天，视频主干模型、离线轨迹数据、扩散模型、表征学习和具身基准都比早期成熟得多。这也是为什么 2025 到 2026 年间，机器人世界模型论文开始集中爆发，且不同路线之间的差异越来越值得被认真区分。

2. 先分类：世界模型不止一种，LeWorldModel 与 Fast-WAM 也不在同一类里

如果不先分类，很容易把所有“能预测未来”的模型都混在一起，最后既看不清方法差异，也很难判断一篇论文真正解决了什么问题。结合近年的机器人研究和公开综述，可以把当前主流世界模型大致分成三类，再额外补充一个三维场景方向。

2.1 动作条件世界模型

这一类是最经典、也最“正统”的世界模型形式。 它建模的是在当前观测和动作条件下，未来状态将如何变化。形式上，可以写成：

如果模型不直接预测像素，而是在潜空间中建模，则对应为：

这类方法最贴近控制理论和基于模型的强化学习，也最强调“动作会如何改变世界”。其代表工作包括 Dreamer 系列、V-JEPA 2、RISE，以及很多 latent dynamics + MPC 的规划方法。它们的优点在于形式清晰、目标明确，天然适合做 roll-out、规划和 model predictive control；缺点则在于长期滚动误差极易累积，对动作标签和高质量轨迹依赖较强，而且一旦 roll-out 时长变长，预测偏差就可能迅速放大。

从研究传统上看，LeWorldModel 基本落在这一类内部。它虽然采用 JEPA 式潜空间训练，而不是像素重建，但推理接口依然是典型的 latent planning：先编码当前观测和目标观测，再在潜空间里对动作序列做优化搜索。因此，它属于动作条件世界模型中的潜空间规划分支，而不是直接输出动作的控制策略。

2.2 视频世界模型

第二类世界模型把重点放在未来视频生成上。 它们并不总是显式建模动作条件，有些甚至主要依赖大规模互联网视频做预训练，然后再通过少量机器人数据配合一个逆动力学模型把动作恢复出来。其基本思路可以理解为两步：先预测未来视觉轨迹，再从连续观测之间反推出可能的机器人动作。

第 1 步：

第 2 步：

这一类方法的关键优势在于可以最大化利用视频数据，因为未来视频建模本身不要求每条数据都带动作标签。典型工作包括 DreamGen、LingBot-VA，以及一些以视频生成模型为核心、后接逆动力学或动作恢复模块的系统。它们通常拥有很强的视觉先验，能覆盖更丰富的现实场景，也更容易从互联网视频中获益；但它们同样面临一个老问题：未来视频虽然可以生成，但“从视频恢复可执行动作”本身并不简单，而且显式视频生成的推理成本往往很高。

2.3 联合世界-动作模型，也就是 WAM

第三类是近两年具身控制中最受关注的一条路线，即 World Action Models，WAM。 这类方法不再把“预测未来视频”和“生成动作”拆成两个几乎独立的模块，而是尝试在统一框架中联合建模未来视觉演化与动作序列。最粗略地说，它建模的是：

或者在一些实现中，视频 token 与动作 token 在同一个扩散或去噪框架中被共同预测。DreamZero 和 Fast-WAM 都属于这一类，只是它们对“推理时是否要显式解码未来视频”给出了不同程度的回答。

WAM 之所以吸引人，是因为它试图兼得两边的优势。一方面，它保留了世界模型从视频建模中学习物理与时间结构的能力；另一方面，它又不像传统视频世界模型那样必须先完整生成未来视频再恢复动作，而是可以把动作预测做得更直接。问题也恰恰出在这里：过去很多 WAM 把“训练时的视频协同建模”和“测试时的显式未来想象”绑在一起，因此很难判断模型变强到底是哪一环起了作用。Fast-WAM 的核心贡献，就是第一次比较系统地把这两个因素分开讨论。

2.4 三维世界模型是一个并行扩展方向

除了上面三类以外，还存在一个不断升温的方向，即 3D 世界模型。它们不满足于在 2D 图像或视频层面表示环境，而是直接学习三维场景表示、点云动态或几何一致的世界演化。这一方向与本文主线并不完全重合，但值得指出的是，很多 3D 世界模型实际上同样会借鉴 JEPA 的思想，即尽量在抽象表征空间里预测结构变化，而不是做逐点重建。PointWorld、Marble 等工作，可以视为把世界建模从 2D 感知进一步推进到几何层的平行分支。

3. 用一张表看清三条主线

从这张表可以看出，LeWorldModel 与 Fast-WAM 在比较对象上并不对称。前者更像是在改进动作条件世界模型内部的“表征学习与稳定训练”问题，后者则是在质疑 WAM 这条线中一个非常流行的设计假设。因此，把两篇论文放在同一篇文章里，不是因为它们是同类模型，而是因为它们分别代表了当前世界模型研究中两个最关键的技术争点：潜空间怎么学稳，未来想象是否真的要在测试时显式发生。

4. JEPA 为什么重要：它不是“少生成一点”，而是改变了预测发生的空间

JEPA 的核心思想不是“少生成一点”，而是把预测从像素空间转移到抽象表征空间。 传统生成式自监督学习往往要求模型重建像素、patch 或 token，也就是尽可能还原原始输入的细节。JEPA 则认为，这种训练目标把过多算力浪费在和下游决策无关的细节上。模型真正需要学习的，不是每个像素如何复原，而是哪些抽象因素能够支配未来状态变化。

因此，JEPA 把学习问题改写成了“在表征空间预测表征”。给定上下文观测，编码器先提取抽象特征；预测器再根据当前特征去预测未来或被遮挡区域的目标特征；模型损失发生在这个抽象空间里，而不是回到像素空间逐点对齐。这样做有两个直接好处。第一，模型会更倾向于保留语义上和动力学上重要的结构，而不是被纹理、颜色和高频噪声牵着走。第二，训练成本更低，因为不需要昂贵的像素级解码过程。

但这条路一开始也有一个几乎决定成败的问题：表征坍塌。如果目标只是“让预测表征接近目标表征”，那么最容易的作弊方式，就是把所有输入都映射到差不多的常数向量。这样损失照样可以变小，但模型再也没有区分能力。此后几乎所有 JEPA 路线的演进，某种意义上都可以被理解为：一边证明“在表征空间预测未来”确实是值得走的路，一边不断寻找更稳定、更一般化的抗坍塌机制。

下面这段极简伪代码可以帮助理解 JEPA 的本质。它并不对应某一篇具体论文的原始实现，只是把思想压缩成最小可理解单元：上下文编码器负责提取当前特征，目标编码器负责生成监督信号，预测器则在抽象空间里做对齐。

def jepa_step(context_view, target_view, context_encoder, target_encoder, predictor):
    z_ctx = context_encoder(context_view)
    with torch.no_grad():
        z_tgt = target_encoder(target_view)
    z_pred = predictor(z_ctx)
    return ((z_pred - z_tgt) ** 2).mean()

真正困难的部分当然不在这四行代码，而在于如何让 z_ctx 和 z_tgt 既不坍塌，又保留足够多的动态结构。也正因此，JEPA 的历史不能只看“有哪些应用”，还必须看它是如何一层层处理这个稳定性问题的。

5. JEPA 的演进史：从理论主张到视频规划，再到端到端世界模型

5.1 概念阶段：从“不要重建像素”到“在抽象空间预测未来”

JEPA 最早的重要意义，不在于它一开始就拿下了多少 benchmark，而在于它明确提出了一个与主流生成范式不同的研究纲领：预测应当发生在抽象表征空间，而不是发生在像素空间。 这背后对应的是 LeCun 对感知与智能关系的长期判断，即真正支撑规划和物理理解的，不是细枝末节的重建能力，而是稳定、可组合、可外推的世界表示。

这一阶段的工作主要是在理论层面和结构层面提出 JEPA、层级 JEPA 等设想，试图说明如果模型拥有多时间尺度、多层级的潜空间表示，那么它就更可能承载长程预测与计划。虽然这些工作离现实机器人系统还有距离，但它们为后面的 I-JEPA 和 V-JEPA 划定了一个很明确的方向：世界模型不必先学会“生成得很像”，而应先学会“理解得足够抽象”。

5.2 I-JEPA：JEPA 在图像上的第一次大规模落地

2023 年的I-JEPA是 JEPA 真正完成工程落地的关键一步。它的核心贡献不是发明了复杂的新模块，而是证明了在不依赖手工数据增强、不做像素重建的前提下，模型依然可以学到高质量图像语义表征。训练时，I-JEPA 会在图像中采样上下文区域和多个目标区域，上下文编码器只看可见部分，目标编码器生成目标区域的抽象表征，预测器则基于上下文去预测目标区域在表征空间中的表示。

这一步的重要性在于，它把 JEPA 从“一个听起来很有道理的思想”变成了“在大规模图像预训练上可以工作的路线”。I-JEPA 还展示了一个后续影响很大的判断：如果掩码区域足够大、上下文与目标不重叠，那么模型会被迫学习全局语义，而不是依赖局部像素插值来作弊。也就是说，JEPA 不只是把损失挪到了潜空间，它同时把“预测什么”这件事设计成了一个必须理解结构才能完成的任务。

5.3 V-JEPA：JEPA 进入视频，世界模型意味开始显现

到 2024 年的V-JEPA，JEPA 的重点已经从图像表征学习推进到时空动态学习。视频相比静态图像，真正难的地方在于不仅信息量更大，而且未来存在时间因果与运动不确定性。传统像素重建式视频模型虽然也能学习时空结构，但代价高昂，而且很容易把容量耗在视觉细节上。V-JEPA 的贡献是证明：视频表征预测本身就可以成为独立且有效的自监督目标。

V-JEPA 在训练时大量掩蔽视频中的时空块，让模型只根据少量上下文去预测目标块的表征。为了防止模型通过相邻帧做简单插值，掩码会穿透整个时间维度，从而迫使模型学习更真实的动态结构。这一步非常关键，因为从这里开始，JEPA 已经不再只是“一个高效的视觉预训练方法”，而是逐渐具备了世界模型的味道。模型虽然不显式生成未来视频，但它必须在内部形成对世界动态的抽象理解，才能把未来的表征预测对。

5.4 V-JEPA 2：从表征学习走向动作条件规划

真正让 JEPA 进入机器人语境的里程碑，是V-JEPA 2。这篇工作把 JEPA 不只是当作一个视频理解 backbone，而是明确朝着“理解、预测与规划”三合一的方向推进。它不再只关心“未来表征能不能预测对”，而是进一步把动作条件和目标导向的规划问题纳入框架，展示出一定程度的零样本机器人规划能力。

从研究意义上说，V-JEPA 2 做了两件事。第一，它让 JEPA 和“动作条件世界模型”真正接轨，不再只是自监督表征学习。第二，它证明了潜空间世界模型不一定需要回到像素空间才能为控制服务，潜空间本身就可以成为规划发生的场所。LeWorldModel 后面会沿着这条路继续向前，但它关注的焦点已经不是“JEPA 能不能规划”，而是“JEPA 端到端从像素学出来时，到底如何稳定训练”。

5.5 LeWorldModel：JEPA 演进中的一个分水岭

LeWorldModel 之所以重要，不只是因为它是一篇 2026 年的新论文，而是因为它正面处理了 JEPA 路线最顽固的问题：从像素端到端训练时的表征坍塌与训练不稳定。过去许多 JEPA 世界模型都需要 EMA 目标编码器、stop-gradient、复杂的多项损失、甚至外部预训练编码器来“扶着走”；LeWorldModel 则尝试把这个问题重新数学化，只保留“下一步特征预测”和“潜空间高斯正则”两个核心目标。

这意味着 JEPA 的演进，到 LeWorldModel 这里出现了一个明显的研究重心变化。早期路线主要在证明“抽象空间预测是可行的”；中期路线在扩展到视频、动作与规划；而 LeWorldModel 所代表的新阶段，开始更强调如何用足够简单而稳定的机制，把 JEPA 真正变成一个端到端世界模型基础范式。

5.6 2026 年之后的三条分叉：JEPA 不再只是 V-JEPA 2

如果今天还把 JEPA 理解成“V-JEPA 2 那条线的延长版”，已经不够了。2026 年前后的新工作更重要的变化，是 JEPA 从单一视频表征路线，分化成了几条系统位置不同的技术支线。

第一条分叉，是把 JEPA 当作具身系统里的动态视觉先验。 这条线以 V-JEPA 2 为分水岭，但重点已经不再只是“能不能做一个机器人 demo”，而是互联网视频中学到的动态抽象能否变成 VLA、policy 或 imitation learning 的上游先验。ACT-JEPA、VLA-JEPA、JEPA-VLA、EmbodiSwap 这类工作，本质上都在强调同一件事：仅有 image-language 或 image-SSL 特征，对具身控制来说仍然太静态；系统需要某种 video predictive embedding，去补上动作后果建模这块短板。换句话说，JEPA 在具身里最先稳定落地的角色，很可能不是“大一统 agent”，而是 agent 栈前端的一层 dynamics prior。

第二条分叉，是把 JEPA 继续往真正可训练、可部署的 world model 结构推进。 这条线上的代表不只包括 LeWorldModel，还包括更偏训练理论的 LeJEPA、引入对象级 latent intervention 的 Causal-JEPA，以及把双曲几何与多步视觉规划结合起来的 GeoWorld。它们共同回答的是另外一类问题：如果 JEPA 不再只被看作表示学习，而是要真正成为 planner 背后的世界模型，那么它能否摆脱过多 heuristics、学到对象级交互、并在计算成本和复现稳定性上更接近可部署系统。LeWorldModel 在这里的重要性，不只是它跑得轻，而是它第一次让“端到端 JEPA world model”这件事看起来像一个能被系统工程吸收的形态。

第三条分叉，是把 JEPA 从“会预测”继续推向“会定位、会交互、会和高层语义推理拼接”的表征层。 V-JEPA 2.1 的 dense predictive loss、deep self-supervision 和 image-video unified tokenizer，解决的是 JEPA 早期一个很现实的问题：如果 latent world model 只擅长全局语义，却不擅长 dense、space-aware、interaction-sensitive 的表征，那么它离真实操作仍然很远。ThinkJEPA 则更进一步，明确把 dense physical prediction 和 VLM thinker 组合起来，让 JEPA 负责高频物理动态，VLM 负责长时语义与知识引导。这意味着 JEPA 正在从“一个会预测的视频 backbone”，走向“能和高层 reasoning 模块形成稳定分工的底层预测层”。

把这三条分叉放在一起看，JEPA 的身份已经变了。它不再只是一个单点方法名，而更像是一层 latent predictive substrate：有时位于 VLA 前端，有时位于 planner 背后，有时又作为 dense/3D/语义推理模块的底层预测层。也正因为这样，今天再谈 JEPA，已经不能只停在 I-JEPA、V-JEPA、V-JEPA 2 那条单线时间轴上。

6. LeWorldModel：把“稳定训练 JEPA 世界模型”这件事做成了

LeWorldModel 的关键贡献，是把“从原始像素稳定训练 JEPA 世界模型”这件事真正做成。 LeWorldModel 的标题非常直白：Stable End-to-End Joint-Embedding Predictive Architecture from Pixels。它关心的重点不是让模型规模更大，而是把“从像素到潜空间、再到世界动态”的全过程做得尽量简单和稳定。论文采用的是离线、无奖励、任务无关的数据设定，只使用观测序列和动作序列进行训练。模型本体由两个部分组成：一个视觉编码器 ，把每一帧图像  映射到潜表示 ；一个动力学预测器 ，根据当前潜表示和动作  预测下一时刻的潜表示 。

从结构上看，这其实非常朴素：

如果只做到这一步，问题并不难；真正难的是，只优化下一步预测误差时，模型极易把所有输入压缩到近乎恒定的表征，也就是前面提到的 collapse。LeWorldModel 的关键做法，是在预测损失之外加入 SIGReg，把潜表示约束为接近各向同性高斯分布。它不是简单做 batch normalization 意义上的白化，而是把高维表征投影到大量随机方向上，并在这些一维投影上做统计正则，从而逼迫潜空间保留多样性和结构性。

这种设计的意义在于，它把过去大量启发式稳定技巧压缩成了一个更像目标函数本身组成部分的正则项。 论文强调，LeWorldModel 的有效超参数几乎只剩一个主要权重 ，而不再需要围绕多个损失项反复配平。对于研究者而言，这点非常重要，因为很多 JEPA 或 latent world model 论文的复现困难，往往并不来自主干网络本身，而恰恰来自那些为防坍塌而加上的附加机制过多、耦合太强。

LeWorldModel 的规划时间对比，显示其在保持竞争力的同时大幅加速规划。

LeWorldModel 的训练目标可以概括为：

其中， 是下一步潜表示预测误差， 用于约束潜表示张量的分布。把这件事写成代码，逻辑其实非常清楚。下面这段 PyTorch 风格代码不是官方仓库逐行复制，而是根据论文训练目标整理出的最小骨架，足以看清方法到底在做什么。

import torch
import torch.nn.functional as F

def lewm_loss(encoder, predictor, obs, actions, lambda_sigreg, sigreg_fn):
    """
    obs:     [B, T, C, H, W]
    actions: [B, T, A]
    """
    z = encoder(obs)                     # [B, T, D]
    z_pred = predictor(z, actions)       # [B, T, D]

    pred_loss = F.mse_loss(z_pred[:, :-1], z[:, 1:])

    reg_loss = 0.0
    for t in range(z.shape[1]):
        reg_loss = reg_loss + sigreg_fn(z[:, t, :])
    reg_loss = reg_loss / z.shape[1]

    return pred_loss + lambda_sigreg * reg_loss

需要强调的是，LeWorldModel 的推理接口并不是“直接输出动作”，而是“在潜空间里做规划”。 在测试时，系统会先把当前观测  和目标观测  分别编码为  和 ，再对候选动作序列进行 rollout，使预测到的末端潜状态尽量接近目标潜状态。论文使用的是 CEM，也就是 Cross-Entropy Method。换句话说，LeWorldModel 在运行时仍然把世界模型保留在控制环里，让模型辅助搜索动作，而不是提前蒸馏成一个简单策略头。

def plan_with_cem(encoder, predictor, obs0, goal_obs, horizon, action_dim,
                  num_iters=5, num_samples=256, elite_ratio=0.1):
    z0 = encoder(obs0)
    zg = encoder(goal_obs)

    mean = torch.zeros(horizon, action_dim, device=z0.device)
    std = torch.ones(horizon, action_dim, device=z0.device)

    for _ in range(num_iters):
        samples = mean + std * torch.randn(num_samples, horizon, action_dim, device=z0.device)
        costs = []
        for i in range(num_samples):
            z = z0.clone()
            for t in range(horizon):
                z = predictor.step(z, samples[i, t])
            costs.append(((z - zg) ** 2).sum())

        costs = torch.stack(costs)
        elite_num = max(1, int(num_samples * elite_ratio))
        elite_idx = torch.topk(-costs, k=elite_num).indices
        elite = samples[elite_idx]
        mean = elite.mean(dim=0)
        std = elite.std(dim=0).clamp_min(1e-4)

    return mean

从结果上看，LeWorldModel 最醒目的不是某一个 benchmark 的单点分数，而是它在低成本条件下取得的整体平衡。论文和项目页都给出了一个非常有辨识度的数字：在使用约 1500 万参数模型的情况下，它能在多个 2D 与 3D 控制环境中保持竞争力，并将规划时间相比 DINO-WM 加速到约 48 倍。这说明如果潜空间学得足够稳、表征足够紧凑，那么世界模型的实用性并不一定依赖于极其庞大的基础模型。

LeWorldModel 在 Push-T 中学习到的潜空间结构可视化。

另一个值得重视的点是，LeWorldModel 不只报告控制成绩，还尝试验证潜空间是否真的学到了物理有意义的量。论文使用 probe 去恢复位置、角度等物理量，并通过 violation-of-expectation 设计去检查模型是否能对不符合物理规律的轨迹产生更高“惊讶”。这件事比看成功率更关键，因为如果一个世界模型只能在训练任务上工作，却无法在潜空间里区分合理和不合理的世界演化，那么它更像是任务特定 shortcut，而不是一种可迁移的世界表示。

LeWorldModel 对异常轨迹的 surprise 评分示意。

当然，LeWorldModel 也并非没有边界。论文提到，在最简单的 Two-Room 环境上，它反而不如某些基线方法。作者的解释是，这种环境的本征维度过低，而高维高斯正则在这种极简场景里未必是最合适的结构假设。换句话说，LeWorldModel 的成功并不是一个“所有问题都被解决”的信号，而是说明端到端 JEPA 世界模型第一次拥有了一个足够简单、足够稳定、足够有复现价值的起点。

把它放回更大的路线争论里看，LeWorldModel 实际上押注的是一件很明确的事：world model 的核心价值仍然在推理时的显式模拟。 它的优势，是能够围绕目标图像做 goal-conditioned planning，真正回答“如果我执行这一串动作会到哪里”；它的代价，则是 rollout 误差、环境专属性和较长的规划时延不会凭空消失。也正因如此，LeWorldModel 的意义并不是“直接替代所有策略模型”，而是为小模型、可查询、可部署的 latent planner 重新争取了一次技术上的正当性。

7. Fast-WAM：世界动作模型到底需不需要在测试时显式想象未来

Fast-WAM 解决的不是“怎么把视频生成得更像”，而是“WAM 为什么有效”。 过去很多世界动作模型都遵循一种很自然的设计：先生成未来视频，再基于这些想象出来的未来状态去生成动作。这个 imagine-then-execute 范式的直觉很强，因为它仿佛更符合人类的推演习惯；但它的代价也很明显，尤其是在视频扩散模型成为主干之后，测试时显式未来生成往往需要多步迭代去噪，直接拉高了控制时延。

Fast-WAM 的论文切入点非常明确：现有 WAM 的优势可能来自两个完全不同的因素，但很多方法把它们混在了一起。 第一个因素，是训练阶段的视频协同建模。也就是模型在训练时同时学习视频和动作，因此视觉主干被迫形成更强的物理和交互表征。第二个因素，是测试阶段显式地把未来视频采样出来，让动作预测模块“看到未来”再做决策。过去的很多 WAM 同时包含这两个因素，因此看起来很强，但很难判断真正起关键作用的是哪一环。

Fast-WAM 的做法是保留前者，尽量去掉后者。具体实现上，它以 Wan2.2-5B 视频 DiT 为骨干，再引入一个动作专家 DiT，形成一个带共享注意力的混合 Transformer 架构。训练阶段，模型同时处理三类 token：当前第一帧的干净视觉潜 token、未来视频的带噪潜 token，以及动作 token。通过 carefully designed 的注意力掩码，动作分支可以访问当前视觉上下文，但不能偷看未来视频 token，从而避免训练时的信息泄露。

Fast-WAM 对不同 WAM 推理范式的统一对照。

最关键的设计发生在推理阶段。Fast-WAM 在测试时直接移除未来视频分支，不再实例化未来视频 token，也不再进行显式的视频去噪采样。它只保留当前观测的干净潜 token，让视频骨干做一次前向编码，产生潜世界表示，再由动作专家根据这些潜世界表示生成动作块。也就是说，Fast-WAM 最重要的研究判断不是“世界建模没用”，恰恰相反，它认为世界建模非常重要；只是这种重要性主要体现为训练时塑造了更好的内部表示，而不是要求测试时真的把未来一帧帧画出来。

Fast-WAM 的模型结构图。

为了证明这一点，Fast-WAM 不只是提出一个新模型，而是构造了几种受控变体。第一种变体是 Fast-WAM-Joint，它模拟联合生成式 WAM，让未来视频与动作在共享模型中一起去噪。第二种变体是 Fast-WAM-IDM，它先生成未来视频，再走视频到动作的路径。第三种变体则是在 Fast-WAM 的架构上去掉视频协同训练目标。论文最重要的发现，正是来自这组三角对照：如果只是去掉测试时的显式未来想象，性能通常仍保持竞争力；如果把训练时的视频协同训练也拿掉，性能会明显下降。

这意味着，对于当前这代 WAM 而言，真正稀缺的不是“把未来画出来”的那几步去噪，而是训练过程中视频建模给骨干网络带来的物理先验与动态结构。 这个结论对机器人系统设计有直接影响，因为它告诉研究者：与其继续把大量算力消耗在测试时的未来视频采样上，不如把精力放在更强的训练目标、更合理的共享结构以及更高效的部署接口上。

下面这段代码把 Fast-WAM 的训练逻辑压缩成一个极简骨架。它没有包含 VAE 编码、流匹配全部细节和注意力掩码实现，但足以说明其与传统 imagine-then-execute WAM 的根本区别：训练时视频目标仍然存在，推理时显式未来生成则被去掉。

def fast_wam_train_step(video_backbone, action_expert, batch, lambda_vid):
    """
    obs_latent_0: 当前观测第一帧的干净潜变量
    future_video_latent: 未来视频潜变量
    action_chunk: 未来动作块
    """
    obs0 = batch["obs_latent_0"]
    future_vid = batch["future_video_latent"]
    action_chunk = batch["action_chunk"]
    text_feat = batch["text_feat"]

    world_tokens = video_backbone(obs0, future_vid, text_feat, mode="train")
    pred_action = action_expert(world_tokens, action_chunk, mode="train")
    pred_video = video_backbone.decode_future(world_tokens)

    act_loss = flow_matching_loss(pred_action, action_chunk)
    vid_loss = flow_matching_loss(pred_video, future_vid)
    return act_loss + lambda_vid * vid_loss

与之对应，Fast-WAM 的推理反而非常简洁：

@torch.no_grad()
def fast_wam_infer(video_backbone, action_expert, obs_latent_0, text_feat):
    world_tokens = video_backbone(obs_latent_0, text_feat=text_feat, mode="infer")
    action_chunk = action_expert.sample(world_tokens)
    return action_chunk

从论文给出的结果看，Fast-WAM 在 LIBERO、RoboTwin 2.0 和真实世界毛巾折叠任务上都取得了和现有强方法相竞争的表现，同时把单次控制延迟压到 190 毫秒，比典型 imagine-then-execute WAM 快 4 倍以上。这里最值得记住的不是具体数字本身，而是它们支撑了一个方法论判断：世界模型的收益可以留在表征里，而不必在部署时显式展开成未来视频。

如果说 LeWorldModel 代表的是“把 world model 留在控制环里”，Fast-WAM 代表的则几乎是相反押注：让 world model 在训练阶段塑造出足够好的表示，然后在部署阶段尽量退到幕后。它的强项是低延迟、强先验和对 behavior cloning 接口的友好；它的边界也同样清楚，即它并不直接提供 goal-conditioned planning 或可查询的显式动态模拟器。因此，Fast-WAM 更像是在回答“如何把大视频模型的世界知识尽快变成行为能力”，而不是在回答“如何从零构建一个可反复推演未来的 planner”。

8. 把 LeWorldModel 与 Fast-WAM 放回同一张图里：它们到底在争什么

把两篇论文放在一起，最值得记住的不是谁分数更高，而是它们分别把 world model 的价值押在了不同位置。LeWorldModel 认为价值主要在推理时，因为模型必须在潜空间里反复 rollout 才能评估候选计划；Fast-WAM 则认为价值主要在训练时，因为视频建模已经把动态知识压进了 backbone 权重，部署时没有必要再把未来视频显式采样出来。

这也是为什么两篇论文看似在对立，实际上却更像在回答两个层级不同的问题。LeWorldModel 回答的是：能不能从零做出一个足够轻、又能在推理时反复查询的潜空间模拟器；Fast-WAM 回答的是：在大视频基础模型已经足够强的前提下，部署时还有没有必要继续把“想象未来”显式展开。 前者偏向规划式控制，后者偏向反应式控制；前者更像给 planner 造大脑，后者更像把世界知识尽快蒸馏成动作能力。

如果把前文“JEPA 正在变成系统级底座”的判断也放进来，事情会更清楚：未来更可能出现的不是二选一，而是分层融合。一个更现实的具身系统，很可能同时需要三层能力。高层由 VLM/LLM 负责任务语义与长时分解；中层的一支用 Fast-WAM 这类大视频先验模型提供低时延的反应式控制；另一支则用 LeWorldModel 或更轻的 JEPA planner 负责 goal-conditioned planning、失败恢复与局部搜索。JEPA 在这里最像的不是“大一统 agent”，而是一层可被不同系统组件复用的 latent predictive substrate。

9. 结语

回到本文最初的问题：JEPA 这条线今天到底走到了哪里？更准确的回答已经不再是“它从 I-JEPA 走到了 V-JEPA 2”，而是“它开始从单一路线分化成一组承担不同系统职责的技术分支”。LeWorldModel 证明了 JEPA 式 latent world model 可以第一次以足够简单、足够稳定、足够低门槛的方式从像素端到端训练出来；V-JEPA 2.1、Causal-JEPA、ThinkJEPA 等工作则继续把它往 dense grounding、对象级交互和长时推理拼接的方向推。与此同时，Fast-WAM 也提醒我们，世界模型不一定非要在部署时显式展开成未来视频，它同样可以把价值主要留在训练好的表征里。

因此，今天真正值得关注的已经不是“谁才是唯一正确的 world model”，而是world model 的哪一部分应该被保留在推理时，哪一部分应该被吸收到参数里；JEPA 又会在这套分层系统里占据哪个位置。 如果后续工作继续在稳定训练、对象交互、dense 表征、长时语义和部署成本之间找到更好的平衡，那么 JEPA 很可能不会变成一个包打天下的 agent，却会越来越像具身智能里那层不可替代的世界预测底座。

参考资料

公众号与解读文章

• JEPA 不再只是 V-JEPA 2：一条新的具身世界模型路线正在路上• 世界模型能让具身机器人思考吗？• Yann LeCun的世界模型路线图：14篇论文梳理JEPA演进史• 关于世界模型科普的最好的文章• Fast-WAM：世界行动模型是否需要经受测试-时的未来想象力？

核心论文

• Fast-WAM (https://arxiv.org/abs/2603.16666)• LeWorldModel: Stable End-to-End Joint-Embedding Predictive Architecture from Pixels (https://arxiv.org/abs/2603.19312)• V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning (https://arxiv.org/abs/2506.09985)• LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics (https://arxiv.org/abs/2511.08544)• Causal-JEPA: Learning World Models through Object-Level Latent Interventions (https://arxiv.org/abs/2602.11389)• V-JEPA 2.1: Unlocking Dense Features in Video Self-Supervised Learning (https://arxiv.org/abs/2603.14482)• ThinkJEPA: Empowering Latent World Models with Large Vision-Language Reasoning Model (https://arxiv.org/abs/2603.22281)• VLA-JEPA: Enhancing Vision-Language-Action Model with Latent World Model (https://arxiv.org/abs/2602.10098)• JEPA-VLA: Video Predictive Embedding is Needed for VLA Models (https://arxiv.org/abs/2602.11832)• GeoWorld: Learning Hyperbolic Visual Dynamics World Models via Trajectory Prediction (https://arxiv.org/abs/2604.00991)