芯耀
与非AI
456
转载自公众号：敢敢AUTOHUB
1. 为什么需要模仿学习
近年来，人形机器人在运动控制领域取得了令人瞩目的进展。我们已经能够看到机器人完成打拳、跑步、跳舞等高度动态的动作。这些成果的背后，隐藏着一个核心技术命题：如何让机器人像人一样自然地运动？
传统的强化学习方法通过手工设计奖励函数来引导机器人学习动作。然而，对于复杂的全身运动行为，手工奖励函数的设计极其困难——研究者需要精确量化"什么是自然的行走"、"什么是协调的手臂摆动"，这些看似直觉性的判断在数学上难以表达。更棘手的是，不恰当的奖励函数往往导致机器人发展出"投机取巧"的策略：虽然在数值上最大化了奖励，但产生的动作极不自然，甚至在物理上不可行。
模仿学习（Imitation Learning, IL）提供了一条不同的路径。其核心思想是：与其费力定义"好的运动是什么样的"，不如直接让机器人观察人类的运动数据，从中学习运动的规律。形式化地说，模仿学习的优化目标是最小化策略分布与专家策略分布之间的差异：
模仿学习优化目标
这一思路的优势在于：人类的运动捕捉数据天然包含了"自然运动"的全部信息——关节的协调配合、重心的平稳转移、步态的节奏韵律——这些信息无需研究者逐一编码，而是由数据本身隐式提供。
2. 两条技术路线的分野：跟踪奖励 vs 对抗模仿
当前机器人模仿学习领域存在两条主流技术路线，它们在方法论上有着根本性的差异。
2.1 基于跟踪奖励函数的方法
以DeepMimic、H2O（Human to Humanoid）、ExBody为代表的方法，其核心思路是"逐帧跟踪"。系统在每个时间步将机器人的当前姿态与参考轨迹中的目标姿态进行比较，计算姿态误差作为奖励信号。策略网络的训练目标是最小化这个跟踪误差，使机器人的运动尽可能精确地复现参考轨迹。
图：H2O及其后续工作omniH2O、ASAP，以及ExBody系列工作，均采用基于跟踪奖励函数的方法
这类方法的优势在于训练稳定、收敛可靠，能够高保真地复现参考动作。但其局限性同样明显：
- • 策略网络在推理阶段仍然需要持续提供参考轨迹作为输入，这限制了机器人的自主性；• 对数据集规模和策略网络参数规模要求较高，如果两者不足，策略在数据集域外的动作上难以保证泛化性；• 需要精心设计相位同步机制，将策略网络与参考动作对齐。
BeyondMimic：跟踪路线的最新进化
在跟踪奖励方法的谱系中，2025年发表的 BeyondMimic（From Motion Tracking to Versatile Humanoid Control via Guided Diffusion）代表了这条路线的最新进化方向。它不满足于"仅仅跟踪"，而是试图回答一个更深层的问题：跟踪学到的运动技能，能否被复用到全新的任务中？
BeyondMimic 的架构分为两个阶段：
第一阶段：大规模运动跟踪管线。 与DeepMimic/H2O类似，BeyondMimic首先训练一组高质量的运动跟踪策略，能够在真机（Unitree G1）上复现跳跃旋转、冲刺、侧手翻等高动态动作。关键改进在于其管线的可扩展性——使用统一的MDP配置和共享超参数，无需为每个动作片段单独调参，即可处理数分钟长的动捕序列。
第二阶段：引导扩散策略蒸馏。 这是BeyondMimic真正"Beyond"的地方。它将第一阶段学到的运动原语（motion primitives）蒸馏到一个统一的扩散策略（Diffusion Policy）中。这个扩散策略在推理时可以通过简单的代价函数实现零样本（zero-shot）任务适配——无需重新训练，机器人就能完成路径点导航、摇杆遥操作、避障等下游任务。
BeyondMimic 的两阶段架构：
阶段1：运动跟踪（与传统方法一致）
人类动捕数据 → 跟踪奖励训练 → 高质量运动策略
↓
阶段2：扩散策略蒸馏（核心创新）
多个运动策略 → 蒸馏为统一扩散模型 → 引导采样实现零样本任务适配
↓
导航 / 遥操作 / 避障...这意味着BeyondMimic在保留跟踪方法"高保真复现"优势的同时，通过扩散模型解决了传统跟踪方法"推理时仍需参考轨迹"的核心局限。从某种意义上说，BeyondMimic证明了跟踪路线并非死胡同——只要在上层引入足够强大的生成模型，跟踪策略学到的运动技能完全可以被泛化和复用。
2.2 基于生成式对抗模仿学习的方法（AMP）
AMP（Adversarial Motion Priors）代表了另一条截然不同的路线。它不要求机器人逐帧跟踪某条特定轨迹，而是训练一个判别器网络来学习参考数据的"运动风格"。判别器的任务是区分"来自真实数据的运动"和"策略网络生成的运动"，而策略网络的目标则是"欺骗"判别器，使自己生成的运动在统计分布上与真实数据无法区分。
图：AMP系统架构示意图。运动数据集M提供风格参考，判别器D区分真实与生成运动，策略网络在任务奖励和风格奖励的共同驱动下学习
这种方法的本质区别在于：跟踪方法学习的是"如何精确复现一条轨迹"，而AMP学习的是"什么样的运动看起来是自然的"。前者是轨迹级别的模仿，后者是分布级别的模仿。这意味着AMP只需少量参考数据即可完成单一风格的动作学习，并且在使用阶段不需要持续提供参考轨迹——风格信息已经内化到了策略网络中。
图：AMP能够通过少量动作片段实现多个动作的顺滑拼接，无需显式的动作规划器
下表总结了两种方法的核心差异：
| 维度 | 跟踪奖励方法（DeepMimic/H2O/ExBody） | 对抗模仿方法（AMP） |
|---|---|---|
| 模仿粒度 | 逐帧跟踪特定轨迹 | 学习运动分布的风格特征 |
| 推理依赖 | 需要持续提供参考轨迹 | 无需参考轨迹，风格已内化 |
| 数据需求 | 大规模高质量数据集 | 少量风格片段即可 |
| 泛化能力 | 受限于数据集覆盖范围 | 可自动组合和泛化动作 |
| 训练难度 | 相对稳定 | 对抗训练存在不稳定性 |
| 核心机制 | 姿态误差最小化 | GAN判别器 + 风格奖励 |
2.3 为什么两条路线并存？——选择背后的工程权衡
一个自然的问题是：既然AMP看起来更"优雅"（不需要逐帧跟踪、数据需求更少），为什么跟踪方法不仅没有被淘汰，反而在BeyondMimic等工作中持续进化？
答案在于：两条路线优化的目标函数本质不同，适用的场景也不同。
跟踪方法的核心优势：动作保真度。 当你需要机器人精确复现一个特定动作（比如一个标准的太极拳起势、一个精确的工业装配动作），跟踪方法是更可靠的选择。它的优化目标是最小化与参考轨迹的逐帧误差，这意味着输出动作与参考动作之间有明确的、可量化的对应关系。BeyondMimic在Unitree G1上实现的跳跃旋转和侧手翻，正是这种高保真度的体现——这些高动态动作对关节角度和时序的精度要求极高，AMP的分布级模仿难以保证这种精度。
AMP的核心优势：风格泛化与任务解耦。 当你的目标不是"精确复现动作A"，而是"让机器人以自然的方式完成任务B"时，AMP更有优势。例如，你希望机器人"像人一样走路去拿一个杯子"——这里"像人一样走路"是风格约束，"去拿杯子"是任务目标。AMP天然支持这种风格-任务解耦：判别器负责风格，任务奖励负责目标，两者通过权重平衡。而跟踪方法需要预先规划一条"走向杯子"的参考轨迹，这在动态环境中并不现实。
下表从工程实践角度总结了选择依据：
| 决策维度 | 选跟踪方法（DeepMimic/BeyondMimic） | 选AMP |
|---|---|---|
| 动作精度要求 | 高（需要精确复现特定动作） | 中（只需"看起来自然"） |
| 参考数据量 | 充足（大规模动捕数据集可用） | 有限（只有少量风格片段） |
| 任务类型 | 动作复现、技能展示、遥操作 | 目标导向任务（导航、搬运） |
| 环境动态性 | 低（预知环境，可预规划轨迹） | 高（需要实时适应未知环境） |
| 动作多样性 | 需要大量数据覆盖 | 可从少量数据自动组合 |
| 训练稳定性 | 高（监督学习范式，收敛可靠） | 中（对抗训练存在不稳定性） |
| 推理时依赖 | 传统方法需要参考轨迹；BeyondMimic通过扩散策略解耦 | 无需参考轨迹 |
| 真机部署难度 | 较低（误差可量化、可调试） | 较高（风格奖励难以直接调试） |
一个关键趋势：两条路线正在融合。 BeyondMimic的扩散策略蒸馏本质上是在跟踪方法的基础上引入了生成模型的灵活性；而beyondAMP项目继承了BeyondMimic的数据管线，将核心算法替换为对抗模仿。这种"共享数据管线、切换核心算法"的设计，使得研究者可以在同一数据集上直接对比两种路线的表现，也暗示了未来可能出现更深层次的融合——例如用跟踪方法生成高质量的"种子轨迹"，再用AMP学习这些轨迹的风格分布，兼得精度与泛化。
3. AMP算法原理深度剖析
3.1 问题建模
AMP将机器人运动控制建模为一个目标条件强化学习问题。在每个时间步t，智能体观察系统状态，根据策略网络输出动作，环境返回下一状态和奖励。AMP的核心创新在于奖励函数的设计——它由两部分组成：
其中 是任务奖励（如朝目标方向移动）， 是风格奖励（由判别器输出计算）。权重 和 控制任务完成度与运动自然度之间的平衡。在TienKung-Lab的实现中，两者默认均设为0.5。
3.2 对抗运动先验的核心机制
AMP的判别器 接收状态转移对 作为输入——注意这里使用的是连续两帧的状态而非单帧，这是因为运动的风格特征不仅体现在静态姿态上，更体现在帧间的动态变化中。判别器的训练目标是：
这是一个最小二乘判别器（Least-Squares Discriminator），相比传统GAN的交叉熵损失，它在整个优化过程中提供更平滑的梯度，避免了sigmoid函数在输出极端值时的梯度饱和问题。判别器对真实运动数据输出接近+1的值，对策略生成的运动输出接近-1的值。
风格奖励基于判别器输出计算：
这个公式将奖励限制在 区间。当判别器认为当前运动来自真实数据（ 输出接近1）时，奖励达到最大值1；当判别器认为运动是策略生成的（ 输出接近-1）时，奖励为0。
以下是TienKung-Lab中判别器的实际实现代码：
# TienKung-Lab: rsl_rl/rsl_rl/modules/discriminator.py
class Discriminator(nn.Module):
def __init__(self, input_dim, amp_reward_coef, hidden_layer_sizes, device, task_reward_lerp=0.0):
super().__init__()
self.amp_reward_coef = amp_reward_coef
# 构建MLP主干网络
amp_layers = []
curr_in_dim = input_dim
for hidden_dim in hidden_layer_sizes:
amp_layers.append(nn.Linear(curr_in_dim, hidden_dim))
amp_layers.append(nn.ReLU())
curr_in_dim = hidden_dim
self.trunk = nn.Sequential(*amp_layers).to(device)
self.amp_linear = nn.Linear(hidden_layer_sizes[-1], 1).to(device)
self.task_reward_lerp = task_reward_lerp
def predict_amp_reward(self, state, next_state, task_reward, normalizer=None):
with torch.no_grad():
self.eval()
if normalizer is not None:
state = normalizer.normalize_torch(state, self.device)
next_state = normalizer.normalize_torch(next_state, self.device)
d = self.amp_linear(self.trunk(torch.cat([state, next_state], dim=-1)))
reward = self.amp_reward_coef * torch.clamp(1 - (1/4) * torch.square(d - 1), min=0)
if self.task_reward_lerp > 0:
reward = (1.0 - self.task_reward_lerp) * reward + self.task_reward_lerp * task_reward.unsqueeze(-1)
self.train()
return reward.squeeze(), d这段代码清晰地展示了AMP奖励的计算流程：将当前状态和下一状态拼接后送入判别器网络，得到判别分数d，再通过公式转换为风格奖励。task_reward_lerp参数控制任务奖励与风格奖励的插值比例——训练初期可设为较低值（如0.3）优先保证步态自然，训练后期调高（如0.8）优先保证任务完成。
3.3 梯度惩罚：稳定对抗训练的关键
GAN训练的一个经典难题是不稳定性。判别器可能在真实数据的流形上产生非零梯度，导致策略网络"过度追逐"判别器的评分而偏离真实运动分布。AMP引入梯度惩罚机制来解决这个问题：
# TienKung-Lab: rsl_rl/rsl_rl/modules/discriminator.py
def compute_grad_pen(self, expert_state, expert_next_state, lambda_=10):
expert_data = torch.cat([expert_state, expert_next_state], dim=-1)
expert_data.requires_grad = True
disc = self.amp_linear(self.trunk(expert_data))
ones = torch.ones(disc.size(), device=disc.device)
grad = autograd.grad(
outputs=disc, inputs=expert_data, grad_outputs=ones,
create_graph=True, retain_graph=True, only_inputs=True
)[0]
# 惩罚判别器在真实数据上的梯度范数
grad_pen = lambda_ * (grad.norm(2, dim=1) - 0).pow(2).mean()
return grad_pen梯度惩罚的物理含义是：要求判别器在真实运动数据附近的"地形"尽可能平坦。如果判别器在真实数据点上的梯度过大，意味着策略网络只要稍微偏离真实分布就会受到剧烈的奖励变化，这会导致训练振荡。通过惩罚梯度范数，判别器被迫在真实数据附近保持平滑，从而为策略网络提供稳定的学习信号。
4. AMP+PPO联合训练流程
图：AMP+PPO联合训练的整体架构——策略网络、判别器和环境三者协同工作，通过任务奖励和风格奖励的双重驱动实现自然运动控制
理解了AMP的核心原理后，我们来看完整的训练流程是如何将对抗学习与强化学习融合在一起的。以下以TienKung-Lab的实际代码为基础进行解析。
4.1 训练循环的整体架构
AMP的训练循环可以概括为三个交替执行的阶段：数据采集、判别器更新、策略更新。下面是TienKung-Lab中AMPPPO类的核心更新逻辑（简化后的关键路径）：
# TienKung-Lab: rsl_rl/rsl_rl/algorithms/amp_ppo.py（核心训练循环）
def update(self):
# 1. 构建三路数据生成器
generator = self.storage.mini_batch_generator(self.num_mini_batches, self.num_learning_epochs)
amp_policy_generator = self.amp_storage.feed_forward_generator(...) # 策略生成的运动
amp_expert_generator = self.amp_data.feed_forward_generator(...) # 专家参考运动
for sample, sample_amp_policy, sample_amp_expert in zip(
generator, amp_policy_generator, amp_expert_generator
):
# 2. 标准PPO损失计算
ratio = torch.exp(actions_log_prob_batch - old_actions_log_prob_batch)
surrogate_loss = torch.max(surrogate, surrogate_clipped).mean()
value_loss = (returns_batch - value_batch).pow(2).mean()
loss = surrogate_loss + self.value_loss_coef * value_loss - self.entropy_coef * entropy_batch.mean()
# 3. AMP判别器损失计算（核心）
policy_state, policy_next_state = sample_amp_policy
expert_state, expert_next_state = sample_amp_expert
# 观测标准化
if self.amp_normalizer is not None:
policy_state = self.amp_normalizer.normalize_torch(policy_state, self.device)
expert_state = self.amp_normalizer.normalize_torch(expert_state, self.device)
# ... next_state同理
# 判别器前向传播
policy_d = self.discriminator(torch.cat([policy_state, policy_next_state], dim=-1))
expert_d = self.discriminator(torch.cat([expert_state, expert_next_state], dim=-1))
# 最小二乘损失：专家数据→+1，策略数据→-1
expert_loss = torch.nn.MSELoss()(expert_d, torch.ones(expert_d.size(), device=self.device))
policy_loss = torch.nn.MSELoss()(policy_d, -1 * torch.ones(policy_d.size(), device=self.device))
amp_loss = 0.5 * (expert_loss + policy_loss)
grad_pen_loss = self.discriminator.compute_grad_pen(*sample_amp_expert, lambda_=10)
# 4. 总损失 = PPO损失 + AMP损失 + 梯度惩罚
loss += self.amploss_coef * amp_loss + self.amploss_coef * grad_pen_loss
# 5. 反向传播与参数更新
self.optimizer.zero_grad()
loss.backward()
nn.utils.clip_grad_norm_(self.policy.parameters(), self.max_grad_norm)
self.optimizer.step()这段代码揭示了一个重要的工程设计：TienKung-Lab将策略网络和判别器的参数放在同一个优化器中联合更新，而非交替训练。具体来说，优化器包含三组参数：
params = [
{"params": self.policy.parameters(), "name": "policy"},
{"params": self.discriminator.trunk.parameters(), "weight_decay": 10e-4, "name": "amp_trunk"},
{"params": self.discriminator.amp_linear.parameters(), "weight_decay": 10e-2, "name": "amp_head"},
]
self.optimizer = optim.Adam(params, lr=learning_rate)注意判别器的输出层（amp_head）使用了比主干网络（amp_trunk）大一个数量级的权重衰减（10e-2 vs 10e-4），这是为了防止判别器的最终输出过于极端，保持奖励信号的平滑性。
4.2 运动数据加载与采样机制
AMP训练的另一个关键环节是如何高效地从参考运动数据集中采样状态转移对。TienKung-Lab的AMPLoader实现了一套完整的加载、插值和采样机制：
# TienKung-Lab: rsl_rl/rsl_rl/utils/motion_loader.py
class AMPLoader:
# 运动特征维度定义
JOINT_POS_SIZE = 20 # 20个关节角度
JOINT_VEL_SIZE = 20 # 20个关节速度
END_EFFECTOR_POS_SIZE = 12 # 6个末端执行器 x 3D坐标
def __init__(self, device, time_between_frames, motion_files, ...):
for motion_file in motion_files:
with open(motion_file) as f:
motion_json = json.load(f)
motion_data = np.array(motion_json["Frames"])
# 每帧包含52维特征：20关节角 + 20关节速度 + 12末端位置
self.trajectories.append(
torch.tensor(motion_data[:, :AMPLoader.END_POS_END_IDX],
dtype=torch.float32, device=device))
self.trajectory_weights.append(float(motion_json["MotionWeight"]))
frame_duration = float(motion_json["FrameDuration"])
self.trajectory_frame_durations.append(frame_duration)运动数据以JSON格式存储，每个文件包含一段完整的运动轨迹。每帧数据是一个52维向量，由三部分拼接而成：20维关节角度、20维关节速度、12维末端执行器位置（左右手、左右脚、头部、骨盆各3D坐标）。MotionWeight字段允许对不同运动片段赋予不同的采样权重，使训练过程可以侧重某些特定风格。
采样过程分为两步：首先按权重随机选择一条轨迹，然后在该轨迹的时间范围内随机采样一个时间点，通过线性插值获取该时刻的精确帧数据：
def feed_forward_generator(self, num_mini_batch, mini_batch_size):
"""为判别器训练生成(s_t, s_{t+1})状态转移对"""
for _ in range(num_mini_batch):
if self.preload_transitions:
idxs = np.random.choice(self.preloaded_s.shape[0], size=mini_batch_size)
s = self.preloaded_s[idxs, :]
s_next = self.preloaded_s_next[idxs, :]
else:
traj_idxs = self.weighted_traj_idx_sample_batch(mini_batch_size)
times = self.traj_time_sample_batch(traj_idxs)
for traj_idx, frame_time in zip(traj_idxs, times):
s.append(self.get_frame_at_time(traj_idx, frame_time))
s_next.append(self.get_frame_at_time(traj_idx, frame_time + self.time_between_frames))
yield s, s_next这里有一个重要的工程优化：preload_transitions选项允许在训练开始前预加载100万个状态转移对到GPU显存中，避免训练过程中频繁的CPU-GPU数据传输。对于大规模并行训练（如4096个环境），这个优化能显著提升训练吞吐量。
同时，策略网络在训练过程中生成的运动数据也会被存入一个回放缓冲区（ReplayBuffer），供判别器训练使用。这个设计防止判别器过拟合策略的最新一批轨迹，提升训练稳定性：
# 策略与环境交互后，将AMP观测存入回放缓冲区
def process_env_step(self, rewards, dones, infos, amp_obs):
self.amp_storage.insert(self.amp_transition.observations, amp_obs)5. 数据管线：从人类动捕到机器人可用数据
图：从人类动捕数据到机器人可用的AMP训练数据，需要经过重定向、验证、格式转换等多个环节
AMP算法的效果高度依赖参考运动数据的质量。然而，我们没有原生的机器人动作数据——人类的运动捕捉数据需要经过一系列处理才能被机器人使用。这条数据管线是整个训练流程中最容易被忽视、却至关重要的环节。
5.1 SMPLX与人类动捕数据
当前主流的人类运动数据集（如AMASS）使用SMPL/SMPLX参数化人体模型来表示运动。SMPLX模型将人体表示为一组骨骼关节的旋转参数加上体型参数，能够紧凑地编码人体的全身姿态。一个典型的SMPLX运动序列包含：
- • 全局根节点的位置和朝向（6维）• 身体关节的局部旋转（每个关节3维轴角表示，共21个关节 = 63维）• 手部关节旋转（每只手15个关节 = 90维）• 面部表情参数（10维）
然而，SMPLX模型的关节结构与任何具体的机器人都不相同。人类有超过200个自由度，而天工机器人只有20个可控关节。因此，直接使用SMPLX数据是不可行的，必须经过运动重定向（Motion Retargeting）。
5.2 运动重定向：弥合人机差异
运动重定向的核心任务是将人类骨骼的运动映射到机器人骨骼上，同时保持运动的语义一致性。这个过程面临三个主要挑战：
第一，骨骼拓扑差异。人类的肩关节有3个自由度，而某些机器人可能只有2个；人类的脊柱是柔性的多关节链，而机器人的躯干通常是刚性的。
第二，骨骼尺寸差异。人类的腿长、臂展与机器人不同，直接复制关节角度会导致末端执行器（手、脚）的位置偏差。
第三，关节限制差异。机器人的关节有明确的角度限制和力矩限制，人类的某些动作可能超出机器人的物理能力。
TienKung-Lab采用GMR（Gaussian Mixture Regression）工具完成重定向，其数据转换流程如下：
AMASS/OMOMO动捕数据 (SMPLX格式)
|
v
GMR重定向工具
(骨骼映射 + 尺寸缩放 + 关节限制裁剪)
|
v
robot_data.pkl (机器人关节角度序列)
|
v
gmr_data_conversion.py
(添加速度信息 + 末端执行器位置)
|
v
play_amp_animation.py
(在仿真中回放验证 + 导出专家数据)
|
v
motion_amp_expert/*.txt (AMP训练用JSON格式)最终的专家数据文件格式如下：
{
"Frames": [
[dof_pos_0, ..., dof_pos_19, dof_vel_0, ..., dof_vel_19, ee_x0, ee_y0, ee_z0, ...],
...
],
"MotionWeight": 1.0,
"FrameDuration": 0.033
}每帧52维：20个关节角度 + 20个关节速度 + 12个末端执行器坐标。FrameDuration表示帧间时间间隔（30fps对应0.033秒），MotionWeight控制该运动片段在训练中的采样权重。
5.3 beyondAMP的数据管线设计
beyondAMP项目在数据管线上做了进一步的模块化设计。它使用npz格式存储运动数据，每个文件包含更丰富的运动表示：
# beyondAMP的运动数据格式（npz文件）
{
"joint_pos": # 关节位置序列
"joint_vel": # 关节速度序列
"body_pos_w": # 世界坐标系下的身体部位位置
"body_quat_w": # 世界坐标系下的身体部位四元数朝向
"body_lin_vel_w": # 世界坐标系下的线速度
"body_ang_vel_w": # 世界坐标系下的角速度
"fps": # 帧率
}beyondAMP的一个关键设计是支持多种坐标系下的运动表示。它提供了世界坐标系（world frame）、锚点坐标系（anchor frame，以机器人根节点为原点）和身体局部坐标系（body-local frame）三种参考系的自动转换。这使得研究者可以根据不同的任务需求选择最合适的运动表示方式。
6. 奖励函数工程：AMP之外的关键设计
图：完整的奖励体系由任务奖励、风格奖励、安全约束和能效优化四大类组成，共同驱动策略网络学习稳定且自然的运动
AMP的风格奖励解决了"运动是否自然"的问题，但一个完整的机器人运动控制系统还需要任务奖励来驱动机器人完成具体目标。TienKung-Lab在任务奖励的设计上积累了丰富的工程经验，这些设计与AMP的风格奖励互补，共同构成了训练的完整奖励体系。
6.1 速度跟踪奖励
速度跟踪是行走/跑步任务的核心目标。TienKung-Lab采用指数形式的奖励函数，而非简单的线性误差：
# TienKung-Lab: legged_lab/mdp/rewards.py
def track_lin_vel_xy_yaw_frame_exp(env, std: float = 0.5):
asset = env.scene["robot"]
# 关键：将世界坐标系速度转换到机体坐标系
vel_yaw = math_utils.quat_rotate_inverse(
math_utils.yaw_quat(asset.data.root_quat_w),
asset.data.root_lin_vel_w[:, :3]
)
# 计算与指令速度的误差
lin_vel_error = torch.sum(
torch.square(env.command_generator.command[:, :2] - vel_yaw[:, :2]), dim=1
)
# 指数奖励：小误差时奖励接近1，大误差时快速衰减
return torch.exp(-lin_vel_error / std**2)这里有一个容易被忽略的细节：速度误差是在机体坐标系（yaw frame）下计算的，而非世界坐标系。这意味着"前进方向"始终是机器人自身的朝向，而非世界坐标系的某个固定轴。当机器人转弯时，机体坐标系的x轴随之旋转，确保速度跟踪的语义始终正确。
6.2 步态周期奖励：与AMP的互补设计
AMP判别器侧重于关节角度和速度的自然性，但对步态的周期性受力模式关注不足。TienKung-Lab引入了步态时钟（Gait Clock）机制，通过区分摆动相（脚离地）和支撑相（脚落地），对不同阶段施加差异化的奖惩：
# TienKung-Lab: legged_lab/mdp/rewards.py
def gait_clock(phase, air_ratio, delta_t):
"""生成平滑的步态时钟信号，区分摆动相和支撑相"""
# 纯摆动相：phase在[delta_t, air_ratio-delta_t]区间
swing_flag = (phase >= delta_t) & (phase <= (air_ratio - delta_t))
# 纯支撑相：phase在[air_ratio+delta_t, 1-delta_t]区间
stand_flag = (phase >= (air_ratio + delta_t)) & (phase <= (1 - delta_t))
# 过渡相：通过线性插值实现平滑过渡，避免奖惩突变
trans_flag1 = phase < delta_t
trans_flag2 = (phase > (air_ratio - delta_t)) & (phase < (air_ratio + delta_t))
I_frc = (1.0 * swing_flag
+ (0.5 + phase / (2 * delta_t)) * trans_flag1
+ 0.0 * stand_flag
# ... 过渡相的线性插值
)
I_spd = 1.0 - I_frc
return I_frc, I_spd
def gait_feet_frc_perio(env, delta_t=0.02):
"""步态周期性脚部反力奖励"""
left_frc_mask, _ = gait_clock(env.gait_phase[:, 0], env.phase_ratio[:, 0], delta_t)
right_frc_mask, _ = gait_clock(env.gait_phase[:, 1], env.phase_ratio[:, 1], delta_t)
# 摆动相惩罚地面反力（脚应该离地），支撑相不惩罚
left_score = left_frc_mask * torch.exp(-200 * torch.square(env.avg_feet_force_per_step[:, 0]))
right_score = right_frc_mask * torch.exp(-200 * torch.square(env.avg_feet_force_per_step[:, 1]))
return left_score + right_score步态时钟信号的核心设计在于过渡相的平滑处理。在摆动相和支撑相的切换点，如果奖惩信号发生突变，会导致策略网络产生步态抖动。通过delta_t参数（默认0.02，对应步态周期的2%）定义过渡区间，在该区间内使用线性插值实现平滑过渡。
天工机器人为行走和跑步定义了不同的步态参数，这些参数直接影响步态时钟的行为：
| 参数 | 行走 | 跑步 | 含义 |
|---|---|---|---|
| gait_cycle | 0.85s | 0.5s | 单步周期（跑步步频更快） |
| air_ratio | 0.38 | 0.6 | 摆动相占比（跑步腾空时间更长） |
| phase_offset_l | 0.38 | 0.6 | 左腿相位偏移 |
| phase_offset_r | 0.88 | 0.1 | 右腿相位偏移（与左腿错开半周期） |
6.3 完整奖励体系
TienKung-Lab的完整奖励配置包含二十余项奖惩，按功能可分为四类：
任务目标类（驱动机器人完成任务）：
- track_lin_vel_xy_exp: 权重 1.0 线速度跟踪
- track_ang_vel_z_exp: 权重 1.0 角速度跟踪
运动自然类（与AMP风格奖励互补）：
- gait_feet_frc_perio: 权重 1.0 步态周期反力
- gait_feet_spd_perio: 权重 1.0 步态周期速度
- body_orientation_l2: 权重 -2.0 身体直立惩罚
安全约束类（防止危险行为）：
- termination_penalty: 权重 -200 摔倒惩罚
- undesired_contacts: 权重 -1.0 非期望接触惩罚
- dof_pos_limits: 权重 -2.0 关节极限惩罚
能效优化类（鼓励节能运动）：
- energy: 权重 -1e-3 能量消耗惩罚
- action_rate_l2: 权重 -0.01 动作平滑惩罚
- ankle_torque: 权重 -5e-4 踝关节扭矩惩罚这些奖惩项的权重经过精心调优。摔倒惩罚（-200）远大于其他项，确保安全性是第一优先级；能量消耗惩罚（-1e-3）则非常轻微，避免过度节能导致速度不足。
7. 两个开源项目的对比：TienKung-Lab vs beyondAMP
图：TienKung-Lab（垂直整合）与beyondAMP（水平模块化）代表了AMP工程化落地的两种不同思路
TienKung-Lab和beyondAMP代表了AMP工程化落地的两种不同思路。前者是一个面向特定机器人（天工人形机器人）的完整训练框架，后者是一个面向通用机器人的AMP集成工具。理解两者的设计差异，有助于研究者根据自身需求选择合适的起点。
7.1 架构设计对比
TienKung-Lab采用垂直整合的架构，从机器人URDF模型、仿真环境、奖励函数到训练算法，所有组件紧密耦合，针对天工机器人的20自由度骨骼结构深度优化。它的AMP观测空间固定为52维（20关节角 + 20关节速度 + 12末端位置），判别器输入维度为104（两帧拼接）。
beyondAMP则采用模块化的水平架构，通过观测组（Observation Group）机制实现灵活配置。它预定义了四种观测配置，适配不同的约束强度：
# beyondAMP提供的四种AMP观测配置
AMPObsBasicCfg: joint_pos + joint_vel # 弱约束，仅关节级
AMPObsClassicCfg: + base_lin_vel + base_ang_vel # 中等约束，加入基座速度
AMPObsSoftTrackCfg: + body_quat_w + body_vel_w # 强约束，加入身体朝向和速度
AMPObsHardTrackCfg: + body_pos_w # 最强约束，加入身体位置从Basic到Hard，观测维度逐渐增加，判别器对运动的约束也从"关节角度像人"逐步升级到"全身姿态和位置都像人"。研究者可以根据任务需求选择合适的约束级别——过强的约束可能限制策略的探索空间，过弱的约束则可能导致不自然的运动。
7.2 与BeyondMimic的关系：从跟踪到对抗的桥梁
beyondAMP项目名称中的"beyond"直接致敬了BeyondMimic（From Motion Tracking to Versatile Humanoid Control via Guided Diffusion）。BeyondMimic是一个基于跟踪奖励的全身运动模仿框架，其核心创新在于将跟踪策略学到的运动原语蒸馏为统一的扩散策略，实现零样本任务适配。beyondAMP继承了BeyondMimic的数据集格式和重定向工具链（GMR、TrackerLab），但将核心算法从轨迹跟踪替换为对抗模仿。
两者的关系可以用以下架构对比来理解：
BeyondMimic（跟踪路线）
├── 数据管线：GMR 重定向 + TrackerLab 验证
├── 核心算法：跟踪奖励 + 扩散策略蒸馏
└── 部署目标：Unitree G1 真机
beyondAMP（对抗路线）
├── 数据管线：继承 BeyondMimic（GMR + TrackerLab） ← 共享
├── 核心算法：AMP 判别器 + PPO ← 替换
└── 部署目标：通用机器人平台（可配置）这种设计的工程价值在于：研究者只需准备一次数据，就可以在两条技术路线之间自由切换。具体来说：
- • 使用BeyondMimic的npz格式运动数据（包含joint_pos、joint_vel、body_pos_w等字段）• 使用相同的GMR重定向工具链完成人体→机器人的运动映射• 在beyondAMP中选择不同的观测配置（Basic/Classic/SoftTrack/HardTrack），控制AMP判别器的约束强度
值得注意的是，beyondAMP的四级观测配置实际上构成了一个从"纯AMP风格学习"到"接近跟踪方法"的连续谱：
• AMPObsBasicCfg（仅关节角+速度）：最纯粹的AMP，只约束关节级运动风格•
AMPObsClassicCfg（加入基座速度）：中等约束，开始关注整体运动趋势•
AMPObsSoftTrackCfg（加入身体朝向和速度）：强约束，运动方向和姿态都需"像人"•
AMPObsHardTrackCfg（加入全身位置）：约束强度接近跟踪方法，但仍通过判别器而非逐帧误差实现
这意味着beyondAMP不仅是AMP的一个实现，更是一个可以在"风格模仿"和"轨迹跟踪"之间连续调节的实验平台——从Basic到Hard，研究者可以精确控制"模仿的严格程度"，找到特定任务下精度与泛化的最佳平衡点。
8. 端到端训练流程总结
图：从动捕数据采集到真机部署的完整AMP训练流水线，涵盖数据准备、环境配置、联合训练和验证部署四个阶段
将前文所有环节串联起来，一个完整的AMP训练流程可以概括为以下步骤。这张流程图覆盖了从原始数据到真机部署的全链路，每个环节都有对应的工具和代码支撑。
以TienKung-Lab为例，实际的训练启动命令非常简洁：
# 训练行走策略（4096个并行环境，无头模式）
python legged_lab/scripts/train.py --task=walk --num_envs=4096 --headless
# 训练跑步策略
python legged_lab/scripts/train.py --task=run --num_envs=4096 --headless
# 从检查点恢复训练
python legged_lab/scripts/train.py --task=walk --resume --load_run=<run_name>
# 可视化训练好的策略
python legged_lab/scripts/play.py --task=walk --num_envs=1
# 回放参考运动数据（验证重定向质量）
python legged_lab/scripts/play_amp_animation.py --task=walk --num_envs=1beyondAMP的训练命令同样简洁，但支持更灵活的观测配置：
# 基础AMP训练（弱约束，仅关节级）
scripts/factoryIsaac/train.py --task AMPG1_Basic --headless
# 软跟踪AMP训练（强约束，含身体朝向）
scripts/factoryIsaac/train.py --task AMPG1_Soft --headless
# 评估并录制视频
scripts/factoryIsaac/play.py --headless --target <ckpt.pt> --video --num_envs 329. 结语
AMP（Adversarial Motion Priors）代表了机器人模仿学习领域的一个重要范式转变：从"逐帧跟踪特定轨迹"到"学习运动的统计分布特征"。这种分布级别的模仿方式，使得机器人能够以更少的数据、更强的泛化能力，习得自然且多样化的运动技能。
TienKung-Lab和beyondAMP两个开源项目，分别从"垂直整合"和"水平模块化"两个维度，为AMP的工程化落地提供了宝贵的参考实现。前者已经通过天工机器人的马拉松实战验证了技术路线的可行性，后者则为将AMP快速集成到不同机器人平台提供了灵活的工具支持。
从更宏观的视角来看，AMP所代表的对抗模仿学习思路，与当前AI领域的其他重要趋势——大规模预训练、多模态融合、分层决策——有着天然的互补性。我们有理由期待，随着这些技术的交叉融合，人形机器人将在不远的将来真正实现"像人一样自然地运动"这一长期愿景。
参考文献
https://zhuanlan.zhihu.com/p/1888257728503334516
https://zhuanlan.zhihu.com/p/1916150176206271685
https://www.robotsfan.com/posts/1742892a.html
https://zhuanlan.zhihu.com/p/1982471173326528684
