芯耀
与非AI
61
转载自公众号：敢敢AUTOHUB
0. 简介
机器人世界模型通过预测"候选决策会带来什么场景演化"来辅助选择动作，而策略负责产出可执行动作。TrAct 要处理的具体矛盾是：用来连接这两者的机器人动作本身，是一个薄弱的接口——动作是本体专属的，同一意图在不同机器人上对应完全不同的动作向量，从动作到像素变化又是欠定映射，导致以动作条件化的世界模型经常忽视真实动作、靠视觉先验幻想成功。
TrAct 没有在"动作条件"上继续打磨，而是引入**视觉轨迹（visual tracks）**作为共享接口：让一个模型联合预测动作与轨迹，用轨迹条件化的世界模型去"想象"每个候选的视觉后果，再用视觉-语言奖励模型对照指令打分，选出预测最符合指令的候选，执行其配对动作。该方法把仿真任务成功率从 0.27 提升到 0.55，真机任务从 0.49 提升到 0.76，同时轨迹条件世界模型在五项视频质量指标上全面优于动作条件基线。
下面结合论文，重点拆解三件事：为什么动作是弱接口、视觉轨迹强在哪；三阶段推理闭环如何在图像空间评估未来；以及这套方法在路线图上的位置与它没解决的问题。
这里要厘清一个常见误区：TrAct 不是又造了一个"更准的视频生成器"，而是把"评估想象的未来"这件事，从隐空间搬到了可对照任务指令的图像空间。它真正卖的是这个评估位置的改变。
1. 研究问题与现有方法的缺口
1.1 动作到像素：一个欠定映射
世界模型与策略结合的标准做法，是以候选动作为条件生成未来画面，再评估哪条动作路径更接近目标。这里的关键是：动作这个条件本身不给力。动作是低维的、本体专属的关节指令，而它要生成的视觉后果是高维的、依赖场景几何的像素变化。直观理解是，给定一个动作向量，世界模型要"猜"出物体怎样被推动、接触区怎样变化，而这些信息在动作里根本不存在——映射是欠定的。
难点提示：可以把动作想象成"给司机的指令：右转 30 度"。同样的指令，在空地、在停车场、在堵车路上导致的画面变化完全不同。世界模型拿到的就是这样一个残缺条件，它只能靠视觉先验去"脑补"画面，所以才会忽略错误动作、幻想成功。
1.2 相关路线的各自缺口
把现有工作摊开，缺陷会看得更清楚。第一类，具身视频生成世界模型：Sora、Genie 这类互联网规模模型有涌现的物理理解，但缺少精密控制所需的可控性；具身世界模型通过语言、动作、本体感知、多模态输入、手部先验或视觉动作提示条件化视频预测，但动作与图像空间变化的对齐仍然很差。第二类，视觉轨迹与本体无关动作表征：一条线把预测的轨迹或光流解码成可执行动作，实现跨本体迁移；另一条线用与本体无关的运动替代本体专属指令，作为世界模型的条件信号。第三类，VLA 与闭环控制：VLA 已成主流，但开环 VLA 在分布偏移下脆弱，催生了 VLMPC、VLAC、RT-Trajectory 等闭环扩展。
这里值得注意一个共性：第二类里的工作，即使评估预测的未来，也大多在隐空间或几何空间完成，很少把评估放到可对照任务指令的图像空间。换句话说，它们把轨迹当作"用来产出或条件化预测"的工具，却没有把预测未来本身变成可评判的对象。TrAct 的差异化正在于此——它先把"评估"锚定在图像空间，让预测出的未来能直接对照语言指令打分，再让轨迹承担"连接两侧"的角色，从而同时吃到视频模型先验与图像空间动力学佐证。
TrAct 总览。蓝色 VLAT 在大规模跨本体数据上预训练，产出候选 action-track 对；灰色 TWM 以轨迹为条件推演每个候选的视觉后果；绿色 VLAC 选出奖励最高的 rollout；机器人执行配对动作。视觉轨迹因此是"未来预测"与"机器人控制"之间的中间接口。
2. 整体框架：三阶段闭环
2.1 输入输出与三阶段拆解
给定当前观测 与语言指令 ，目标是选出动作 ，最大化任务成功率。TrAct 把决策拆成三个阶段：先由策略生成候选，再由世界模型想象后果，最后由奖励模型打分。论文沿用 VLAC 框架，选用 InternVL2 作为奖励模型。推理时采用循环决策：执行一段动作后观测新状态，再进入下一轮。
一句话理解：机器人不是在"猜哪条动作路径好"，而是在"先想象每条路径会带来怎样的画面，再根据哪个画面最符合指令做选择"。
2.2 关键的不对称：评估发生在图像空间
这是 TrAct 区别于既有闭环方案的核心设计。多数闭环 VLA 用隐空间的评分器或几何度量评估候选，而 TrAct 把评估建立在由轨迹条件世界模型生成的预测视频之上，再用视觉-语言模型对照语言指令原文打分。这样评估的输入是"画像"而非"抽象隐向量"，任务符合度可以直接由文本语义判定。该设计同时统一了"预测"与"控制"两侧的表征——都用视觉轨迹。
3. 第一条核心机制：联合预测动作与轨迹（VLAT）
3.1 机制核心思路
VLAT（Vision-Language-Action-and-Track）构建在预训练的基于 Flow Matching 的 VLA 策略 之上。作者修改其动作头，让它同时输出可执行动作与 2D 点轨迹——不是把轨迹当作附加输出从旁路生成，而是让它与动作头共享同一个 backbone 与同一个去噪目标，从而在训练时同步对齐"动作"与"它带来的视觉运动"。给定观测与指令，模型输出一组候选：
其中 是长度为 、动作维度为 的动作块（action chunk）， 是同一时间跨度下 条 2D 点轨迹。轨迹覆盖两类点：机械夹爪的关键网格顶点，以及 网格均匀采样的背景点与物体点。不同相机视图采用非对称策略：agent-view 头只输出夹爪网格顶点（聚焦末端执行器运动）；wrist-view 头同时输出夹爪顶点与网格采样场景点（捕捉腕部相机相对环境的运动）。这份"共享轨迹、分离动作"的监督设计可以写成一段实现示意——配合附录的槽位布局与掩码逻辑，就能同时吃下机器人数据集与人类操作数据集：
# models/vlat.py（实现示意，对应论文 §3.1 联合头 + Appendix B 槽位掩码）
def forward_vlat(self, obs, lang, viewpoint):
"""同时输出动作块与 2D 轨迹；robot 表示是否带可执行动作标注。"""
feat = self.backbone(obs, lang) # 视觉-语言融合特征
action = self.flow_act_head(feat, viewpoint) # Flow Matching 动作块
track = self.flow_trk_head(feat, viewpoint) # Flow Matching 轨迹
if not self.robot_mask: # 人类数据只监督轨迹头
return None, track
return action, track
# Appendix B：统一槽位布局，缺哪个槽位就掩码哪个
SLOTS = {"gripper": [f"g{i}" for i in range(7)],
"grid": [f"p{i}" for i in range(25)]}工程价值：两类点互补——夹爪轨迹给出"末端执行器在动"的线索，网格轨迹给出"场景和相机在动"的参照。这样模型能区分"机器人造成的运动"与"相机移动造成的表观运动"，是跨本体、跨视角泛化的基础。
3.2 联合优化
VLAT 用联合 Flow Matching 损失优化，动作与轨迹共享同一套 flow-matching 目标，也就是让两个头走同一条"把噪声逐步收敛到目标速度场"的训练路径，而不是各练各的。这样动作与轨迹在同一个生成框架里同步演进，训练信号更一致，也避免了为轨迹单独设计损失函数时可能出现的"两个目标相互拉扯"问题。这一步的设计是 TrAct 能在数据混合上成立的先决条件：
其中 与 分别表示真实动作与真实轨迹， 是平衡动作项与轨迹项的权重。训练时，机器人数据集同时监督动作头与轨迹头；而人类数据集（EgoDex）只用轨迹头部监督，因为人类手部运动与机器人关节动作没有共同的控制参数化。于是整体目标写作 𝟙，其展开形式是轨迹项总是生效、动作项只在带标注时生效：
𝟙
其中 𝟙 指示该样本是否带可执行的动作标注。这意味着轨迹在所有数据集上都是一致的监督信号，而动作只在控制格式有效时才被监督——既能让大规模人类操作视频（EgoDex）用其轨迹监督去"喂养"视觉运动表征，又不至于把缺乏关节指令约束的动作监督强加到人类数据上。
难点提示：Flow Matching 不是直接回归轨迹坐标，而是学习"把噪声逐步变成目标"的速度场。动作与轨迹共享这份"去噪"目标，等于在同一个生成框架里同时建模两种输出，省去了单独为轨迹设计损失函数的麻烦。这种"一个生成范式、两种输出"的做法，比常见的"动作一个损失、轨迹一个损失"更省事，也更难——因为两者得共用同一个去噪方向。
3.3 预训练数据与统一轨迹表征
VLAT 在 DROID（76K 轨迹）与 EgoDex（150K 轨迹，取全量约一半）上按 1:2 混合预训练，30K 步、batch size 64、4 张 H100。为在异构数据上联合训练，作者引入固定的槽位（slot）布局：每个槽位对应一种轨迹类型（夹爪关键点或网格采样点），某数据集缺失某类轨迹或某相机流时，对应槽位直接掩码。DROID 的 agent-view 含 7 个夹爪关联点，wrist-view 含 7 个夹爪点加 25 个背景点；EgoDex 只有单 egocentric 视图，含 14 个手部关联点（每只手 7 个）加 25 个背景点。这套"固定槽位 + 缺失掩码"的设计，是跨本体、跨视角预训练成立的关键——它让机器人演示、人类第一视角视频、不同相机配置的数据，都能映射到同一个共享 token 空间。三种数据流如何各自填槽位、缺则掩码，用一张图最直观：
轨迹 token 由坐标、视图、槽位、时间四部分嵌入构成，每一个轨迹点在进入 Transformer 前都要打上这四类信号。之所以要把坐标之外再叠视图、槽位、时间三组嵌入，是因为同一组坐标在 agent-view 与 wrist-view 下含义不同、属于不同槽位的点语义不同、处于不同时间步的点也不可比——不区分这些，模型的表征就会乱：
其中 是槽位 在相机视图 、时刻 的轨迹坐标， 是可学习的视图、槽位、时间嵌入。值得注意：没有使用任何本体专属嵌入——正是这一点，让模型按"交互动力学"而非"机器人形态"组织观测，从而实现本体无关的视觉运动表征。缺机械臂、缺槽位、缺该相机流、缺可用动作维度，都以二值掩码在注意力与损失计算里屏蔽。可以说，这套槽位布局是跨本体预训练能否成立的地基。
4. 第二条核心机制：轨迹条件的世界模型（TWM）
4.1 设计动机
视频生成主干选用 Stable Video Diffusion（SVD）。直接用 SVD 条件化不够——动作是稀疏低维的，无法告诉生成器"哪个点在往哪里动"。TrAct 的做法是：给 SVD 加一个ControlNet分支，把轨迹坐标编码成空间控制图，从而显式指定点的运动。给定观测与预测轨迹，世界模型生成未来视频。这里是当前观测，是第个候选的预测轨迹，生成的是候选对应的预测视频 rollout，为帧数，为通道数， 为图像宽高。世界模型本质上是在做"给定起始观测与轨迹、生成后续帧"的条件生成，训练时即最小化生成帧与真实后续帧之间的差异：
其中 是候选 对应的预测视频 rollout， 为帧数， 为通道数， 为图像宽高。世界模型本质上是在做"给定起始观测与轨迹、生成后续帧"的条件生成，训练时即最小化生成帧与真实后续帧之间的差异 ，也就是让以轨迹为条件的预测视频，尽可能贴近真实发生的画面。这个"贴近"落在像素级差异上，而轨迹条件恰恰提供了足够的空间约束，让生成器不必靠幻想补全动作带来的后果。
直觉理解：动作条件像是给画师一个"往右挪 30 度"的抽象口令，画师得自己脑补被推动的物体；轨迹条件则像是直接告诉画师"这只杯子的把手上这个点，将在第 3 帧移到画面右下角那个位置"。后者是逐点的空间指令，歧义小得多。
4.2 多视图的通道设计
为支持多视图，作者把不同视图的轨迹渲染到 ControlNet 的独立通道：agent-view 轨迹用红色通道，wrist-view 轨迹用蓝色通道。这既让世界模型能区分不同视图的运动，又维持跨视图的时间一致性。相比之下，动作条件唯一能做的只是引入一个可学习的相机视图嵌入，信息量远不如"逐视图渲染轨迹"。把轨迹渲染成空间控制图、并拼进 ControlNet 与 SVD 主干，可写成下面这段示意：
# models/twm.py（实现示意，对应论文 §3.1 TWM + 红/蓝双通道控制图）
def render_control(track_agent, track_wrist, H, W):
"""把两视图轨迹渲染到空间控制图的不同通道。"""
ctrl = torch.zeros(3, H, W)
ctrl[0] = draw_polyline(track_agent) # 红通道 = agent-view 轨迹
ctrl[2] = draw_polyline(track_wrist) # 蓝通道 = wrist-view 轨迹
return ctrl
def forward_twm(self, obs, track):
control = self.control_net(render_control(*track)) # ControlNet 分支
return self.svd_unet(obs, control, cross_attn_kwargs=self.view_embed())这段代码把"多视图"落在了一个很具体的实现选择上：同一张空间控制图里，agent-view 的轨迹占红通道、wrist-view 的轨迹占蓝通道，ControlNet 据此为生成器提供"这个运动属于哪个相机视角"的区分度。读者在代码里看到的 ctrl[0] 与 ctrl[2]，正是把"红色=agent"与"蓝色=wrist"这条设计直接落到数组下标上。这套通道编码的几何含义与"两个视角之间为何不会互相污染"，用一张图直观展示：
4.3 动作条件世界模型（AWM）：对照组
为公平对比，作者训练一个动作条件变体 AWM。给定预测动作块 ，先用 MLP 编码到 CLIP-L/14 特征空间，再拼接一个可学习的相机视图嵌入（区分 agent-view 与 wrist-view 动作），得到视图感知的动作表征，通过交叉注意力注入 SVD 的 UNet 层。这一套动作条件化路径的复杂度，与 TWM 里"把轨迹渲染成控制图"的设计是同一量级的——两者都专门为多视图做了处理，并非简单地把动作向量塞进去。注入过程可写成：
其中 是 SVD 的潜特征， 是相机视图嵌入， 表示拼接。AWM 与 TWM 拥有完全一致的多视图信息——唯一变量是"用什么条件化"，这保证了对比的有效性。换句话说，AWM 就是专门为了"排除其它因素、只比较条件信号"而设计的对照组，它存在的意义就是让 TWM 的每一项优势都能归因到"视觉轨迹"这一个变量上。
5. 训练时的监督模块
5.1 世界模型的预训练与微调
TWM 与 AWM 都在 76K DROID 轨迹上预训练 30K 步，batch size 64。这一步之所以关键，是它决定了两个世界模型在"条件信号"之外的一切都相同——同样的主干、同样的数据、同样的训练规模，唯一差异只有"用动作还是用轨迹做条件"。微调阶段，两个变体在完全相同的 LIBERO 与真实世界数据集上训练，确保对比公平。附录中另给出更大规模混合（DROID + BridgeData V2 + 全量 EgoDex）的实验（记为 TrAct+），用 8 张 H100、60K 步、全局 batch 128 训练，用于检验数据规模能否进一步放大轨迹条件带来的增益。
5.2 轨迹监督信号的构造
构造轨迹监督信号需要两类来源：一是夹爪轨迹，用 7 个预定义夹爪点（对应末端执行器网格上的固定 3D 偏移），借助机器人位姿与相机标定投影到每一帧；二是场景轨迹，在 wrist-view 采样 网格背景点，用 CoTracker 跨帧跟踪。仿真与真机微调沿用同一套预处理流程。
这里值得注意一个工程现实：构造监督信号依赖相机标定（夹爪点投影）与 CoTracker（背景点跟踪），这既是数据可用性前提，也是该方法在数据侧的一个隐性门槛。
奖励模型 VLAC 的微调同样进入训练流程：它在一个批量里对"预测 rollout"与"真实完成任务"交替采样本，把打分头拟合到任务完成奖励上。这一步不是简单地给世界模型结果打标签，而是让奖励模型学会"哪个预测画面更贴近指令的完成态"。把上面的训练循环与奖励微调拼在一起，就得到了 TrAct 的完整训练骨架：
# models/reward_finetune.py（实现示意，对应论文 §4.1/§5.2 奖励模型微调）
for step in range(5_000): # VLAC 微调 5K 步, batch=16
obs, lang, a, tau, r = next_batch()
# 1) VLAT 生成候选 action-track; 2) TWM 以轨迹条件 rollout 预测视频
v_hat = twm(obs, tau)
# 3) 对预测 rollout 打分, 用任务完成奖励作监督
loss = ce(reward_head(v_hat, lang), r)
loss.backward(); optimizer.step()6. 推理时的执行模块
6.1 从候选中采样
推理时，VLAT 先输出 组候选 action-track 对。为保证多样性，作者采用温度缩放重采样（TSR, Temperature-Scaled Resampling）：缩放初始噪声幅度以控制多样性，再从学到的策略分布重采样。仿真用噪声尺度 2、TSR k=3；真机用噪声尺度 2、TSR k=4。候选数 是"计算量 vs. 最优候选质量"的权衡：主实验仿真用 ，真机用 。
6.2 完整的推理闭环
论文附录给出 TrAct 推理伪代码（Algorithm 1），它把整个流程浓缩成一个循环。这个循环是理解 TrAct 落地的关键：它不是一次性的"采样-选优-执行"，而是一个反复发生的"想象-评估-推进"过程，每执行一段动作块就观测新状态、重新进入下一轮。也正是因为这个循环，TrAct 才能在分布偏移后"边做边纠正"，而不是一次性把一整段动作放完就完事。
# TrAct 推理（世界模型引导的动作选择，附录 Algorithm 1）
输入：观测 o_t, 语言指令 l, 候选数 K
模型：VLAT 策略 π_θ, 轨迹世界模型 p_φ, VLAC 打分器 R_ψ
while 任务未完成:
# 1. 采样 K 组候选 (动作, 轨迹) 对（TSR 保证多样性）
{(a_i, τ_i)}_{i=1}^K ← Propose(π_θ, o_t, l, K)
# 2. 以各自轨迹为条件，rollout 未来视频
for i in 1..K:
v̂_i ← p_φ(o_t, τ_i) # 想象第 i 个候选的视觉后果
s_i ← R_ψ(v̂_i, l) # 对照指令打分
# 3. 选得分最高者，执行其配对动作
i* ← argmax_i s_i
Execute(a_{i*})
# 4. 推进环境，进入下一轮
o_{t+H} ← env.step(a_{i*})
t ← t + H6.3 打分与选择
奖励模型对 段 rollout 打分，选出最优。这个选择标准可以理解成：在 个"想象出来的未来"里，挑出画面最贴近语言指令描述的那个。因为预测视频 与指令 的关系由奖励模型 直接判定，且评估发生在图像空间而非隐空间，所以"是否符合任务"这件事就能用文本语义来裁决——这正是 TrAct 强调的"评估位置"的价值：
其中 是视觉-语言奖励模型（InternVL2，沿用 VLAC 框架）。机器人执行被选中那组配对动作 。这里的关键是：评估的对象是"预测生成的视频"，评估的标准是"对照语言指令"，所以即使世界模型预测偶有偏差，只要打分器能从中挑出最符合语义的那条，选择就有意义。这一"以预测画面而非隐向量为准"的评分方式，正是 TrAct 与常规闭环 VLA 的分野所在——常规方法在隐空间比相似度，而它在图像空间让语言模型直接判定任务完成度。
7. 实验结果：轨迹条件在哪几处拉开了差距
7.1 视频生成质量：五项指标全面占优
最核心的一组结果，是用 LIBERO-INTEGRAL 评估任务上的 100 段生成视频，在 agent-view 与 wrist-view 两个视图、真实与仿真两场景下测五项指标。这里的关键是：TWM 在两个相机视图的五项指标上全部优于 AWM，不是某几项占优。仿真场景差距尤其悬殊——agent-view 下 PSNR 从 15.12 提到 24.51，LPIPS 从 0.438 降到 0.106。这意味着轨迹条件提供的空间引导，远丰富于动作条件，且这种优势跨域一致。
解读：之所以仿真差距更大，是因为仿真场景可预测性强，动作条件那种"靠先验脑补"的毛病更容易暴露；而轨迹条件给出确定的逐点运动约束，自然把误差压下来。真机 wrist-view 上 LPIPS 从 0.372 降到 0.225、FVD 从 246 降到 140，说明这一优势也延续到真实环境。
7.2 机器人任务：LBERO-INTEGRAL 的泛化增益
我们对比了四种变体：原始 基线、只做联合预测不做选择的 VLAT、用动作条件世界模型做选择的 VLAT+AWM、以及 TrAct。在标准 LIBERO 四套件上，VLAT 把平均成功率从 96.8% 提到 98.0%（证明联合预测轨迹与动作不损害原性能），TrAct 达 98.3%。在更难、含跨本体偏移的 LIBERO-INTEGRAL 上，VLAT 把平均成功率从 0.27 提到 0.44，VLAT+AWM 达 0.49，TrAct 最优 0.55。
这里值得注意：增益是逐级累积的——联合预测轨迹本身就带来泛化提升，加世界模型选择再提升，轨迹条件又比动作条件再提升。TrAct 在 Object（0.60）、Camera（0.60）、RobotInit（0.65）、Cross-Embodiment（0.50）四个子变体上均最优，且在 20 个任务中的 18 个上取得最优或并列最优。为排除单次评估噪声，作者用三个独立种子复核，两套世界模型变体的 95% 置信区间不重叠（VLAT+AWM 均值 0.490，TrAct 均值 0.547）。
𝟙
其中 是偏移类别（Object / Task / Camera / RobotInit / Cross-Embodiment）， 是该类别下具体的一组任务，𝟙 指示某个任务是否成功完成。用这一个口径，LIBERO-INTEGRAL 对每一种偏移类别各算一个平均成功率，从而把"策略在哪种偏移下退化最严重"这件事量化出来，而这是常规 LIBERO 给不了的信息——它只能在一套固定任务上比总分，看不到分布变化的梯度。
7.3 真机任务：域偏移下的最大收益
真机用 Franka Panda + 两台相机，4 个训练任务、400 条示教，评估 5 个训练时未见任务、每个测原始背景与新背景。TrAct 平均 0.76，对比 VLAT+AWM 的 0.66、单独 VLAT 的 0.55。差异在域偏移下放大：新背景时 VLAT+AWM 掉到 0.4（与不做重排的 VLAT 持平），TrAct 仍维持 0.7；关柜门这类强接触任务即便无域偏移也拉开（0.8 vs 0.6）。轨迹条件把世界模型锚定在图像空间的运动上，对背景变化更鲁棒——这正是它最大收益所在。
8. 横向对照：本工作在路线图上的位置
8.1 谱系代表工作
可以把相关工作归成三条线。第一类，具身视频生成世界模型：Genie / Genie 2 强调可交互世界模拟，目标是 video-to-video；Pandora 以自然语言动作与视频状态为条件。它们有涌现物理，但缺精密控制所需的可控性。第二类，动作条件世界模型：以动作、本体感知、多模态输入、手部先验或视觉动作提示为条件做视频预测，缺陷是动作到像素的欠定映射，动作跟随差——已有工作指出这类模型常忽略错误动作、靠视觉先验幻想成功。
8.2 视觉轨迹作为中间表征
第三类，视觉轨迹作为中间表征：Track2Act 从互联网视频预测点轨迹再解码为动作，实现跨本体与人类视频迁移；Motion Prompting 用运动轨迹控制视频生成；RT-Trajectory 用事后轨迹草图做任务泛化。它们用轨迹产出或条件化预测，但评估预测未来时多在隐空间或几何空间。
8.3 本工作的定位
TrAct 是 VLA 路线的纵向延伸，不是世界模型路线的横向移植：它沿用基于 Flow Matching 的 VLA（）做政策主干，输出端额外开轨迹预测头；世界模型侧把条件从动作换成轨迹；并把评估位置从隐空间搬到可对照任务指令的图像空间。这个定位让它同时吃到视频模型先验与图像空间动力学佐证，这是它比 VLAT+AWM 更强的原因。
9. 局限与未解决问题
9.1 推理时的实时成本
每次决策要调用 次（）视频扩散模型 rollout，且选择基于"预测画面"而非事实画面，延迟与代价显著。作者在 处观察到收益已大部分回收（0.52 vs 0.55），暗示低候选数可作延迟敏感场景的落点，但论文未给端到端延迟实测。这意味着能否上真机闭环高频控制，仍是问号。
9.2 奖励模型引入的判决噪声
VLAC 用 InternVL2 对照语言指令打分，属通用 VLM 的语义判断，未必与"任务成功"的严格定义一致。虽然 TrAct 优于 +VLAC，但奖励模型误判与预测视频偏差是两类噪声叠加，论文未单独消融各自影响。这直接决定"选择是否始终稳健"——评估位置虽在图像空间，评估本身仍带不确定性。
9.3 数据侧与任务族限制
构造轨迹监督依赖相机标定（夹爪点投影）与 CoTracker（背景点跟踪），提高了数据门槛；尤其在缺乏相机外参的数据集（如 BridgeData V2），只能从图像经 CoTracker 提取轨迹。实体实验仅在单一 Franka 平台、桌面操作域验证，未见双臂、移动或依赖力控/触觉反馈场景。直观理解是：TrAct 擅长"看得见物体在动"的操作，而非"靠力觉才能感知"的操作。
10. 总结
TrAct 面向以视觉为核心的机器人操作决策，通过把视觉轨迹作为策略与世界模型之间的共享接口，解决了动作条件化世界模型因欠定映射而预测失真、评估多在隐空间的关键缺口。仿真成功率从 0.27 提到 0.55、真机从 0.49 提升到 0.76、轨迹条件世界模型在五项视频质量指标上全面优于动作条件基线——三者合起来说明，这套方法在"需要跨本体、抗视觉域偏移"的范围内具备明确价值。
