十分钟读论文 | GE-Act 2.0 深度解析：世界模型怎样真正接入机器人控制

转载自公众号：敢敢AUTOHUB

0. 简介

GE-Act 2.0 面向通用机器人操作，研究一个很具体的问题：当训练数据从数百小时增长到数万小时时，世界模型能否在不针对测试任务微调的条件下，稳定获得更多真实操作能力。它把系统拆成控制表征、未来视觉规划和逆动力学三个部分，再用 KASO 处理预测未来与示范动作之间的模式错位。论文在两种机器人、100 项原子任务和四档联合训练规模上进行零样本分布外评测，G1-OP 的平均成功率由17.1% 提高到 44.1%，G2-90D 则由13.4% 提高到 31.1%。这组结果说明扩大操作数据确实带来广泛收益，也同时暴露了成功率、因果归因和长时任务上的清晰边界。

1. 从 VLA 到 WAM：动作前面多了一层可检查的未来

1.1 直接策略的长处与盲区

常见的 视觉-语言-动作模型（Vision-Language-Action Model，VLA） 直接学习从图像、指令和本体状态到动作的映射。这条路线结构紧凑，适合大规模行为克隆，却把任务理解、空间推理和运动生成压进同一个黑箱：当机械臂抓错杯子时，人们很难判断模型究竟没有听懂“左边的蓝杯”，还是理解正确却在接近阶段产生了偏差。动作标签又比互联网图文稀缺得多，直接策略能够吸收的数据类型受到限制，许多只有视频、没有机器人控制量的记录无法进入动作监督。

1.2 世界动作模型的接口价值

世界-动作模型（World-Action Model，WAM） 在感知与动作之间加入对未来的预测。这个设计的实际价值不只在于生成一段看起来合理的视频，而在于未来状态可以充当任务意图的显式接口：视觉规划器回答“目标完成时或即将完成时会看到什么”，动作模型回答“怎样从现在到达那个状态”。只含画面变化的人类视频可以训练前半段，只含观测和动作的机器人轨迹可以训练后半段，完整数据再把两部分对齐。数据入口因此变宽，模块的错误也更容易分开检查。

直觉理解：直接 VLA 像司机只听到目的地后立刻转动方向盘，WAM 则先在导航界面上给出接下来应出现的道路，再由驾驶控制完成转向。中间地图不保证车辆一定到达，但它让“路线想错了”和“方向盘打偏了”成为两类可以分别诊断的问题。

2. 先厘清宣传口径：哪些部分真的从零训练

2.1 论文支持的准确表述

一些二次解读把 GE-Act 2.0 概括为“全部组件随机初始化，只使用具身数据”，这个说法超过了论文证据。论文明确支持的结论是：承担未来生成的 SVP flow generator 与承担动作生成的 IDM 从随机初始化开始，训练时没有继承互联网视频生成器的可训练主干；这使研究者能够较干净地观察操作数据增加后，生成与控制能力怎样变化。它和把一个成熟视频生成模型直接接上动作头的方案有实质区别，也是论文所说“原生 WAM 规模化”的主要含义。

2.2 仍然存在的外部先验

系统并非处在完全没有外部知识的真空里。CoAE 在扩展到 512 通道前，从 128 通道 DC-AE 转移兼容权重，训练时又接受冻结的 SigLIP 2、V-JEPA 2.1 与 DINOv3 特征监督；SVP 的语言与场景理解使用冻结的 Qwen3.5-2B，论文给出的实际参数量为 2.72B。这里要厘清的是，GE-Act 2.0 隔离了预训练视频生成器对可训练规划主干的影响，却仍借助视觉教师和多模态模型提供表征、语义先验。把这个边界写准确，才能知道 Scaling 曲线究竟证明了什么。

3. 零样本 OOD 评测：尽量排除“考前特训”

3.1 零样本在本文中的具体定义

机器人论文里的“零样本”容易产生歧义。GE-Act 2.0 的真机主实验直接使用完成联合训练的 checkpoint，不对 100 项测试任务继续监督微调，不在现场提供示范，也不针对单项任务挑选最有利的 checkpoint。测试所用场景、背景、光照和物体实例都从训练数据中留出，因此这里的 分布外（Out-of-Distribution，OOD） 不是只换一个杯子颜色，而是同时约束四个环境维度。基础技能与机器人本体仍在训练覆盖内，所以它检验的是已有操作能力能否组合并迁移到新条件，而非从未见过任何相关动作的绝对零知识学习。

3.2 为什么这套协议比单次演示更有分量

评测覆盖两种机器人本体、20 类技能和 100 项原子任务，每个任务在每种规模与本体组合下执行 10 次。统一 checkpoint 与统一参数避免为不同任务暗中训练多个专家，四档模型又共享同一组大规模预训练组件和训练配方。这里的关键是把研究对象从“模型能否偶尔完成某个任务”变成“数据扩大后，大量留出任务的成功概率是否整体上升”。这样的设计仍无法控制全部变量，但它比展示几段成功视频严格得多；统计单位、失败次数和测试条件 都能被读者核对，结果才有资格进入 Scaling 讨论。

4. 整体架构：当前画面、预测未来与动作块

4.1 三个模块怎样传递信息

系统接收三个摄像头视角、自然语言指令和机器人本体状态。CoAE 先把每张图编码成紧凑的视觉潜变量；SVP 结合当前多视角潜变量和冻结多模态模型提供的语义条件，一次性生成近未来与较远未来的潜变量序列；IDM 再读取当前潜变量、预测未来和本体状态，输出一段关节位置动作。未来视觉潜变量是整套系统的连接件：它既要表达任务语义，也要保留夹爪、物体、接触关系与运动趋势，否则动作模型即使容量足够，也无法恢复准确控制。

4.2 时间尺度怎样安排

论文采用多时间尺度预测，未来视觉包含 4 帧较密集的近期状态与 2 帧较稀疏的远期状态，动作侧生成 52 个 32 维关节位置向量，对应 30 Hz 下约 1.73 秒。部署时机器人只执行前 30 个动作，随后重新观察、重新预测和重新规划。这样既利用动作块减少每一步都调用大模型的开销，也通过滚动重规划抑制开环误差。三个摄像头提供互补视角，32 维动作则在不同本体之间用零填充形成统一接口，为多本体联合训练提供固定张量形状。

直觉理解：系统像一个每秒都会更新的短程施工计划。SVP 画出接下来几处关键工位，IDM 把这些工位转换为连续手部动作，机器人执行其中一段后重新测量现场。计划给得过短会失去任务方向，整段全部执行又会让早期误差持续累积，所以只执行动作块前部是一种务实折中。

5. CoAE：把一帧画面压成 24 个控制 token

5.1 极端压缩解决什么成本

一张 256×384 图像经过 控制导向自动编码器（Control-Oriented Autoencoder，CoAE） 后，空间尺寸变为 4×6，每个位置含 512 个通道，因此每帧只有 24 个视觉 token，空间下采样倍率达到 64。论文对照中，同分辨率下 DINOv3 需要 384 个 token，CoAE 的序列长度只有其十六分之一。这个差距会反复作用于所有摄像头、所有预测帧和 Transformer 注意力计算；对持续滚动的控制回路而言，节省的不是一次离线生成成本，而是每次重新规划都要支付的固定开销。

5.2 控制导向来自多教师约束

压缩率高并不自动等于适合控制。CoAE 同时接受像素重建、LPIPS 感知一致性、对抗训练以及三个冻结教师的特征对齐：SigLIP 2 提供与语言相关的视觉语义，V-JEPA 2.1 提供时空结构，DINOv3 提供稠密局部特征。下面的式子只用于说明监督组成，其中各权重控制重建质量与教师对齐的比例，论文实现还包含对应的投影头与训练细节。关键设计是让同一个低码率潜空间同时保留物体语义、局部结构和运动线索，而非追求单纯的重建观感。

5.3 探针实验应该怎样读

作者冻结各视觉编码器，在货架整理数据上训练相同容量的两层逆动力学探针，再用 100 条留出轨迹评估动作平均绝对误差，同时测试指令与画面的匹配错误率。CoAE 的动作误差为 0.01673，高于 DINOv3 的 0.01273 和 V-JEPA 2.1 的 0.01487，说明强压缩确实损失了一部分动作可恢复性；它的指令匹配错误率为 2.05%，却是五种表征中最低。换句话说，相同 64 倍压缩的 DC-AE 动作误差达到 0.02573，也说明 CoAE 的结果不能仅由压缩倍率解释。

视觉表征	每帧 token 数	动作 MAE，越低越好	指令匹配错误率，越低越好
CoAE	24	0.01673	2.05%
DC-AE	24	0.02573	2.71%
DINOv3	384	0.01273	2.75%
V-JEPA 2.1	384	0.01487	4.15%
SigLIP	384	0.03138	3.28%

工程价值：可以把视觉 token 理解为随车携带的工具箱。DINOv3 和 V-JEPA 带的工具更多，探针恢复动作更准确；CoAE 只带十六分之一的箱子，却保住了较多控制与语义信息。真正的取舍是每轮规划成本与精细控制误差之间的交换，而不是简单判断哪种表征全面更强。

6. SVP：用一次前向生成完整未来

6.1 多步视频生成为什么不适合控制闭环

扩散式视频生成通常需要多次串行去噪。若动作误差要穿过生成结果反向更新视频模型，训练就必须为整条去噪链保留计算图，显存、吞吐和梯度路径都会迅速变得昂贵。VPP、DreamZero 与 GE-Act 1.0 等工作因而常从生成器的中间特征直接预测动作，部署可以运行，但动作模块与特定生成过程紧密绑定，难以先用大量观测-动作轨迹独立预训练。GE-Act 2.0 的结构突破点是得到完整、可单独读取的未来潜变量，同时让这条接口保持可微。

6.2 MeanFlow 在这里承担的角色

单步视觉规划器（Single-Step Visual Planner，SVP） 基于条件 MeanFlow 学习从高斯噪声到完整未来潜变量序列的平均速度场。传统扩散模型沿许多小步逐渐还原样本，MeanFlow 试图学习跨越整个区间的平均变化，因此推理时一次网络前向便可得到未来。GE-Act 2.0 又把条件扩展到多摄像头当前观测、语言语义以及密集和稀疏两组未来帧。这里无需记住推导公式，只需把握工程结果：完整未来成为稳定张量，IDM 可在 SVP 缺席时先训练，联合阶段的动作梯度也能直接回到 SVP。

6.3 理解模块与生成模块的分工

SVP 使用冻结的 Qwen3.5-2B 处理当前头部视角和指令，向 flow generator 提供多模态条件；真正生成未来视觉潜变量的是 2.51B 参数的 DiT，包括 36 个块、2048 隐藏宽度和 32 个注意力头。冻结理解模块降低了联合训练时语义能力漂移的风险，也意味着论文所谓“从零训练”必须限定在生成与动作主干。进一步看，语言模型不会直接输出关节命令，任务意图必须先体现在预测未来里，这使未来画面是否指向正确目标成为一个可观察的中间诊断信号。

7. IDM 与闭环部署：从画面变化恢复动作

7.1 逆动力学模型学到什么

逆动力学模型（Inverse Dynamics Model，IDM） 的输入包括当前视觉潜变量、未来视觉潜变量和本体状态，输出 52 个连续动作。它关心的是“为了让当前画面变成目标画面，机器人做过什么”，因此预训练不要求每条轨迹都有自然语言，也不要求轨迹最终成功；只要相邻观测、本体状态和动作时间对齐，就能形成监督。IDM 规模为 0.56B 参数，采用 28 个 Transformer 块、1152 隐藏宽度和 16 个注意力头，通过动作流匹配学习连续动作分布。

7.2 真机循环怎样运行

部署时，CoAE 编码三路当前图像，SVP 只前向一次并生成未来潜变量，IDM 使用 5 步 Euler 积分得到动作块，不使用 classifier-free guidance。控制器执行前 30 个动作后重新采集图像，整个过程循环进行。项目页宣称在单张 RTX 5090 上生成一个含 52 个动作的 chunk 需要 104 毫秒，论文正文没有给出独立复现实验，因此应把它视为官方工程披露。该延迟说明系统具备进入滚动控制的可能性，却不能单独证明端到端控制周期、通信抖动与机器人安全停机都已满足生产要求。

8. 三阶段训练：让不同数据各自找到入口

8.1 39,000、32,000 与 30,000 小时分别表示什么

训练被拆成三段。SVP 先在约 39,000 小时指令-视频数据 上学习条件未来预测，其中可以包含没有机器人动作的第一视角或人类操作视频；IDM 再在约 32,000 小时观测-动作轨迹 上学习逆动力学，其中约 2,000 小时来自失败轨迹与部署回流；最后使用最多 30,000 小时指令-视频-动作完整数据 进行 KASO 联合训练。三组数字描述不同训练入口，数据源存在重叠，不能相加成 101,000 小时独立语料。论文的价值在于把过去常被丢弃的数据接入了明确目标。

8.2 训练时哪些参数更新

SVP 预训练阶段从随机初始化训练 flow generator，CoAE 与多模态理解模块保持冻结；IDM 预训练阶段独立读取记录中的真实未来和动作；联合阶段冻结 CoAE 与 Qwen3.5-2B，更新 flow generator 和 IDM，并同时保留 SVP 的真实视频目标、IDM 的真实观测-动作目标与经候选选择后的端到端动作目标。这里的关键是 联合训练承担连接与适配，而不是把两个预训练目标全部替换掉。继续保留原目标，可以降低生成器为了迎合动作损失而破坏视觉预测、或 IDM 遗忘真实轨迹知识的风险。

8.3 数据工程先于模型训练

若要在工程上复现这套流程，最先要统一的并非网络代码，而是数据契约：三路相机时间戳、30 Hz 动作序列、本体状态、机器人类型、指令、成功标签和技能标签需要能够按窗口对齐。不同本体的动作统一到 32 维并用掩码或零填充处理缺失关节；视觉窗口要同时抽取近期密集帧和远期稀疏帧；训练与评测还要按场景、背景、光照、物体实例建立隔离清单。若数据切分只按轨迹随机抽样，相邻录制中的同一物体和同一布景很容易泄漏到测试集，所谓 OOD 结果就会失去意义。

9. validity gap：合理未来也可能配错动作

9.1 多模态行为为何制造冲突监督

同一条“拿起杯子”指令可以由左手或右手执行，也可以从杯子的不同侧面接近。行为克隆数据只记录一次具体实现，而 SVP 从未来分布独立采样时，可能生成另一种同样合理的实现。若记录动作从左侧靠近，预测未来却展示右侧抓取，IDM 会被要求根据右侧未来输出左侧动作。论文把这种情况称为 validity gap：未来本身在语义和物理上有效，动作标签本身也有效，但两者不属于同一个行为模式。单纯提高视频清晰度不会消除这个配对问题。

9.2 错位为什么会损害动作精度

当一个条件对应多个动作峰值，而训练样本把视觉条件与另一峰的动作硬配在一起，平方误差或流匹配目标会鼓励模型在互相冲突的方向之间折中。对图像生成而言，中间结果可能只显得模糊；对机器人控制而言，平均动作可能既无法从左侧抓住，也无法从右侧抓住。核心问题在于 世界模型学习的是未来的边缘分布，控制需要的是未来与动作的联合分布。两个模块各自预训练得再好，连接处没有建立兼容关系，知识迁移仍会把有效能力变成冲突监督。

10. KASO：在动作空间选择兼容未来

10.1 候选、打分与重放

知识对齐选择优化（Knowledge-Aligned Selective Optimization，KASO） 每次让 SVP 从保留的噪声中生成 4 个候选未来，然后用当前 IDM 比较候选未来与真实未来引发的动作速度场响应。所有候选共享同一个高噪声动作输入、同一个流时间和同一套 IDM 参数，默认探测时间为 0.95；响应差异最小的 1 个候选被选中，再用对应噪声带梯度重放。第一次候选生成和打分不建立反向图，第二次只重建获胜候选，因而无需同时保存四条完整梯度路径。

10.2 为什么在动作空间打分

KASO 没有用像素距离挑选最像记录视频的候选，因为视觉差异与控制差异并不等价。背景中有人经过可能造成大面积像素变化，却不影响抓取动作；两段画面在外观上接近，也可能分别对应左手和右手。下面的式子只保留选择机制的核心：真实未来条件下的 IDM 响应作为参照，候选中响应最接近者进入端到端更新。符号表示 IDM 的动作速度场，表示第个候选未来，表示记录中的真实未来。

难点提示：这像给一段舞蹈录像寻找对应的脚步记录。画面最相似的录像未必用了同一套步法，真正有用的判断是脚步节奏是否一致。KASO 用 IDM 的动作响应代替像素相似度，相当于先问“这段未来需要的动作是否与示范兼容”，再决定哪段未来参与训练。

11. 结语

GE-Act 2.0 给出的核心证据可以压缩成三点。第一，未来视觉潜变量能够作为规划与动作之间的显式接口，使指令视频、无语言动作轨迹和完整示范进入不同预训练阶段；第二，CoAE、单步 SVP 与 KASO 分别处理计算成本、模块解耦和行为模式错位，架构问题不会仅靠增加数据自动消失；第三，在统一 checkpoint 的零样本 OOD 真机协议下，联合训练数据从 300 小时扩大到 30,000 小时，与两种本体上更广的技能覆盖和更高平均成功率同时出现。

参考资料

ble