芯耀
与非AI
462
转载自公众号：敢敢AUTOHUB
0. 引言
想象这样一个场景：你正在擦桌子、削水果，或者插拔一个精密零件。这些动作对人类来说轻而易举，然而对于机器人来说，这些看似简单的操作却是一道难以跨越的技术鸿沟。当前，机器人领域深陷于一个反直觉的困境：即便触觉传感器在机器人领域已经广泛应用，整个行业却面临着**"感知更多、做得更差"的窘境。机器人明明"摸得到"，却依然"不会用"。这一现象背后，揭示了当前主流方案对触觉本质存在的根本性误解**。
为什么给机器人提供额外的触觉感知，反而可能让它表现更差？答案在于，机器人操作领域长期缺乏对接触动态的建模和对触觉信息的有效利用。当前主流方案仅将视觉与触觉特征简单拼接后输入策略网络，这种方式看似合理，实际上却忽视了触觉的核心特征。相较于具备全局语义与连续观测能力的视觉，触觉信号高度局部且由接触事件驱动，无法提供全局感知，难以支撑长时序规划。更关键的是，接触本质上是一个随时间演化的动态过程。
1. 触觉感知的本质与挑战
1.1 触觉信号的独特性
触觉感知是机器人与物理世界交互的直接桥梁，它与视觉感知有着本质的区别。视觉传感器可以从远距离捕捉相对稳定的物体几何特征，提供全局语义信息和连续观测能力。而触觉信号则反映了接触界面处力的瞬态时空演化过程，具有高度局部性和事件驱动的特点。要有效利用触觉模态，不仅需要对力分布进行空间推理，还需要对力分布在动态交互中的演化规律进行时间推理。这种时空耦合的特性，使得触觉信息的处理远比简单的特征拼接复杂得多。
在实际应用中，触觉传感器能够捕捉到视觉无法观测的关键信息。例如，在抓取透明塑料杯时，视觉系统可能无法准确判断杯壁的形变程度，但触觉传感器可以直接感知接触压力和表面变形。在削皮操作中，工具与物体表面的摩擦力变化、滑动趋势等细微信号，都是触觉传感器的优势领域。然而，这些优势只有在系统能够正确理解和利用触觉信号的前提下才能发挥作用。
1.2 当前触觉融合方案的局限
现有大多数触觉增强型机器人系统通过两种方式融入触觉信息：一是将触觉嵌入投影到预训练的视觉-语言隐空间，将其视为额外的语义表征；二是在下游策略中，将触觉特征与语言条件视觉表征进行拼接。尽管这些方法让模型接触到了触觉输入，但给表征学习带来了巨大负担。模型必须在为视觉对齐和静态场景描述优化的语义嵌入空间中，隐式推断接触物理特性，而非为物理预测优化。
要学习特定的触觉模式对应滑动、变形或不稳定性，需要通过静态相关性间接挖掘这些概念，这往往需要大规模的标注数据，且无法保证底层的高频动力学被准确捕捉。缺乏显式的时间建模，这些学习到的表征难以编码连续触觉帧之间的因果关系，而这正是预测初期滑动等失效模式所需的核心结构。此外，由于许多视觉-语言-动作模型优先考虑语义对齐而非预测性物理建模，进一步导致触觉信号在细粒度时空推理中未被充分利用。
1.3 高分辨率触觉传感器的发展
近年来，以GelSight为代表的高分辨率触觉传感器取得了显著进展。GelSight传感器通过光学成像原理，能够捕捉接触表面的三维形变信息，分辨率可达微米级。这种传感器在机器人夹爪指端的应用，使得机器人能够感知细微的表面纹理、接触力分布以及滑动趋势。传感器采集的触觉图像不仅包含空间信息，还能通过连续帧之间的变化反映时间动态，为接触动力学建模提供了丰富的数据基础。
然而，高分辨率触觉数据的获取只是第一步，如何有效处理和利用这些数据才是关键。触觉图像的高维性、高频性以及与视觉信息的异构性，都给数据处理带来了挑战。传统的图像处理方法往往难以捕捉触觉信号中蕴含的物理意义，需要专门设计的编码器来提取有效的触觉表征。同时，触觉数据的采集频率通常高于视觉数据，如何在不同频率的多模态数据之间建立有效的时间对齐和融合机制，也是一个重要的技术问题。
2. 从VLA到WAM的范式转变
2.1 VLA模型的成就与局限
视觉-语言-动作模型（VLA） 是近两年具身智能领域最重要的技术突破之一。VLA模型通过大规模多模态对齐，实现了通用型机器人控制，将视觉观测和语言指令嵌入共享的语义隐空间，从而能够在各类操作任务和环境中实现泛化。当我们说一句"把桌上的杯子洗了"，机器人之所以能够理解"杯子""桌上""洗"这些开放语义，并进一步调动已有技能，很大程度上依赖的就是VLA这类模型。VLA的意义在于实现了 语义到策略的跨越，它告诉机器人 "何为正确动作"。
然而，VLA模型并不天然负责 "物理理解"。它最擅长做的，是把人类意图翻译成机器人可以执行的任务表达。VLA缺失的是对 物理因果的深度建模：它擅长回答 "What to do"，却在回答 **"What if"**时显得力不从心。因为真实世界不是静态图片，也不是清晰标注好的训练集，而是一个持续变化、充满接触、碰撞、摩擦、遮挡、形变和不确定性的物理系统。机器人抓取的不是"杯子的像素"，而是一个会受力、会滑动、会倾倒的实体；它面对的不是"门把手的类别"，而是一套包含铰链、阻尼、反作用力的物理结构。
这也是为什么很多系统在语义层面已经显得很聪明，但一进入真实交互，仍然会暴露出脆弱性。它知道"应该抓杯子"，却未必知道"怎么抓才不会把杯子捏扁"；它知道"应该开抽屉"，却未必能在抽屉被卡住时做出合乎物理逻辑的调整。VLA主要负责理解任务和承载策略，而机器人对世界后果的预判，还需要另一层能力来补上。
2.2 世界模型的核心价值：后果意识
世界模型（World Model） 或 **世界动作模型（World-Action Model, WAM）**真正补上的，不是"想象力"，而是 "后果意识"。很多人第一次听到世界模型，会自然联想到"让机器人脑内生成一段未来视频"。这个理解不能算错，但它抓住的更多是表现形式，而不是问题本身。世界模型真正重要的地方，不是把未来"画出来"，而是让机器人在执行动作之前，先形成一套关于 世界将如何变化的内部假设。
如果说传统策略模型更像是在回答"类似场景里，人类通常怎么做？"，那么世界模型会多问一步：**"如果我这样做，接下来会发生什么？这些变化会不会让任务失败？"**一个典型的例子是抓取一个装满水的软杯。假设一台七自由度机械臂需要把桌面上的透明软塑料杯抓起并移动到旁边托盘里。这个任务表面上只是一个简单的抓取-放置操作，但从物理上看，它其实同时包含了几层耦合约束。
首先，杯壁是可形变的，夹爪法向力稍大，杯身就会局部塌陷。其次，杯中液体会改变整体的质心与惯性分布，杯身一旦被挤压或倾斜，液面就会发生滞后晃动。第三，抓取点、夹持力和抬升轨迹并不是彼此独立的变量，它们共同决定了这个动作最终会不会滑落、会不会倾斜、会不会泼洒。在这种任务里，纯策略模型很可能会输出一个"最像训练数据示范"的抓取动作，但它的问题在于，系统并没有显式判断这个动作会带来什么后果。
而带世界模型的系统，哪怕并不真的生成一段可视化视频，也会在内部比较几个不同的候选后果。它会额外评估：如果夹持力增加一点，杯壁形变会不会超过安全阈值？如果抓取点下移两厘米，接触会更稳定，还是会带来更大的液体晃动？如果轨迹从"直接平移"改成"先竖直抬升、再平移"，杯口姿态是否会更稳定？这时候，系统关心的已经不是"哪个动作最像人类示范"，而是"哪个动作导致的后果最可控"。
2.3 世界模型的两种作用模式
当前世界模型研究正在探索两条互补路线。第一条路线重视测试时显式推演（rollout），希望通过可见的未来推演提升决策质量。这种方式强调规划、可解释性和风险控制，让机器人在执行动作前先"想一想"。代表性工作如Motus、LingBot-VA等，试图把理解、动作和世界建模统一到一个框架里，通过闭环推演、因果一致性来提升长时任务控制能力。
第二条路线重视训练时未来监督，希望把世界知识沉淀到表征和策略内部，换取更低时延、更强闭环和更高部署效率。这种方式不执着于逐像素预测未来，而更关心能否在更抽象的特征空间里，学到足够好的世界演化规律。像Fast-WAM的实验观察显示，如果在测试阶段去掉未来视频生成，性能下降并不显著；但如果在训练阶段去掉视频协同训练，性能则会明显变差。这提示我们，世界模型的收益未必主要体现在推理时"脑内放一遍未来"，也可能相当大一部分来自训练时利用未来监督去塑造更符合物理因果的状态表征。
这两种理解并不是非此即彼，而是对应不同的系统设计路径。测试时显式推演适合高风险、长时程、需要可解释性的场景；训练时世界监督适合对实时性要求高、需要快速闭环反应的场景。未来哪条路线更占优势，将取决于任务风险、控制频率、时域长度以及真机算力约束。
3. 视触觉融合的技术方法
3.1 人类神经机制的启发
如何破解触觉利用不足的困局？答案藏在人类自身的神经机制中。神经科学研究表明，人类在进行接触操作时，依赖的是一套**"预测+反馈"的协同机制**。大脑一方面通过前向模型提前预测动作将带来的感觉变化，另一方面通过实时感觉反馈进行快速修正，抵消误差和扰动。正是这种"先预测再修正"的机制，让人类能够在不确定的环境中，依然完成稳定而灵巧的接触操作。这一神经科学发现为机器人触觉融合提供了重要的设计原则。
3.2 数据集建设与质量标准
高质量的视触觉数据集是训练有效世界模型的关键基础。当前研究社区已经发布了多个具有代表性的数据集,它们在规模、质量和覆盖范围上各有特色。OmniViTac数据集收录了两万余条操作轨迹,将接触模式系统性分为擦拭、削皮、切割、抓取、装配和手内调整六类,覆盖近百类任务和百余种物体。Touch and Go数据集则专注于动态抓取场景,记录了机器人在移动过程中的触觉反馈和视觉观测。YCB-Slide数据集关注滑动检测,包含多种材质物体在不同表面上的滑动数据。此外,还有针对特定领域的专用数据集,如针对织物操作的ClothTouch、针对工具使用的ToolManip等。
这些数据集的共同特点是强调多模态同步精度和接触模式多样性。时间戳误差通常控制在毫秒级,确保不同模态数据之间的严格对应关系,这对于学习准确的因果关系至关重要。接触模式涵盖从刚性到柔性、从滑动到滚动、从轻触到重压等各种状态,物体材质包括金属、塑料、木材、布料、食材等,为模型学习通用的接触动力学规律提供充分支撑。数据采集过程中通常保留原始传感器频率,避免降采样导致的信息损失,同时记录完整的机器人状态(关节角度、末端位姿、夹持力等)以支持精确的动作复现。
然而,当前数据集仍面临多重挑战。首先是规模有限,相比视觉领域动辄百万级的数据集,触觉数据集通常只有数千到数万条轨迹,限制了大规模模型的训练。其次是场景覆盖不足,大多数数据集聚焦于特定任务或物体类别,跨域泛化能力有待验证。第三是标注成本高,触觉数据的物理意义(如接触力、滑动趋势、形变程度)往往需要专业知识才能准确标注。未来研究需要探索如何通过自监督学习、仿真数据增强、主动学习等方法降低对大规模标注数据的依赖,同时提升数据集的多样性和代表性。
3.3 系统架构模式：从单层到多层
视触觉融合系统的架构设计呈现出从单层端到端到多层分层控制的演进趋势。早期方法采用单层端到端架构，直接将视觉和触觉特征输入策略网络，输出动作指令。这种方法结构简单，但难以处理复杂的长时程任务，且缺乏对接触动态的显式建模。随着研究深入，分层控制架构逐渐成为主流。典型的分层设计包括慢系统和快系统两层：慢系统基于世界模型在较低频率（如10Hz）下进行全局规划和未来预测，输出动作序列和预期触觉状态；快系统则在高频（如60Hz）下运行，根据预测与实际触觉之间的差异实时调整动作执行，补偿外界扰动和预测误差。
这种分层设计借鉴了人类运动控制的层次化特点，将长时程规划与短时程反应有机结合。慢系统负责**"想清楚要做什么"，快系统负责"把它做稳"**。两者的协同使系统既具备全局规划能力，又能快速响应局部扰动。除了慢-快双层架构，还有研究探索三层架构，在顶层增加任务规划层，负责将高层语义指令分解为子任务序列。也有工作尝试模块化架构，将感知、预测、决策、控制等功能分解为独立模块，通过标准化接口连接，提高系统的可扩展性和可维护性。不同架构各有优劣，选择何种架构取决于任务复杂度、实时性要求和计算资源约束。
3.4 关键技术模块与实现方法
视触觉融合系统通常包含几个关键技术模块,它们协同工作以实现**"感知-预测-决策-执行"的完整闭环。首先是触觉编码模块**,负责将高维触觉数据压缩为低维表征。常用方法包括变分自编码器(VAE)、自监督对比学习、以及基于Transformer的序列编码等。这些方法在保留关键接触信息的同时降低计算复杂度,为后续预测与控制提供可泛化的触觉表征。例如,TactileVAE通过时空联合编码捕捉触觉动态变化,而一些工作则采用ResNet或ViT直接提取触觉特征。
其次是多模态融合模块,负责整合视觉和触觉信息。简单的特征拼接容易导致模态坍缩问题,即主导性的视觉梯度抑制局部的高频触觉信号。为解决这一问题,研究者提出了多种融合策略:交叉注意力机制允许两种模态相互查询和增强;门控融合根据接触阶段动态调整模态权重;对比学习在共享潜空间中对齐视觉和触觉表征。此外,还有工作引入辅助损失(如虚拟力正则化)对触觉通路进行针对性监督,确保触觉信号在训练过程中不被边缘化。
第三是预测模块,负责建模未来状态演化。扩散模型和流匹配方法因其强大的生成能力成为主流选择,能够同时处理视觉和触觉的多模态输入,在共享潜空间中学习联合分布。循环神经网络(RNN/LSTM)和Transformer也被广泛用于时序建模,捕捉触觉信号的动态演化模式。一些工作还探索了物理先验的引入,如显式建模接触力学约束、摩擦模型等,以提高预测的物理一致性。
最后是决策与控制模块,负责将预测结果转化为动作指令。强化学习方法通过试错学习最优策略,但样本效率较低。模仿学习从人类示范中学习策略,但泛化能力有限。当前趋势是将两者结合,用模仿学习提供初始策略,再用强化学习或在线微调进一步优化。在控制层面,模型预测控制(MPC)利用世界模型进行前瞻性规划,而反射式控制器则基于预测误差进行快速反应。两者的结合实现了规划与反应的统一。
3.5 代表性方法简介
当前视触觉融合领域涌现出多个具有代表性的研究工作,它们从不同角度探索了触觉信息的有效利用。
VTAM (Visual-Tactile Action Model) 是由新加坡国立大学、复旦大学等机构联合提出的完整视触觉世界模型框架。该框架通过四大核心模块实现了"预测-理解-修正"的闭环控制：(1) TactileVAE编码模块，将高维触觉图像压缩为低维潜在表征，同时保留关键的接触动态信息；(2) 双流扩散生成模块，分别建模视觉和触觉的未来演化，在共享潜空间中学习多模态联合分布；(3) 自适应融合策略，通过虚拟力正则化等机制解决模态坍缩问题，确保触觉信号在训练过程中不被边缘化；(4) 反射式控制器，基于预测触觉与实际触觉的差异进行快速反应，补偿外界扰动。VTAM采用慢-快分层架构，慢系统在10Hz频率下进行全局规划和未来预测，快系统在60Hz频率下实时调整动作执行。
Motus 工作强调测试时的显式推演,通过可见的未来预测提升决策质量,特别适合高风险、长时程任务。LingBot-VA 则将语言、视觉和动作统一建模,试图在单一框架内实现理解、规划和执行的协同。
Fast-WAM的研究揭示了一个重要洞察:世界模型的价值可能更多体现在训练时的未来监督,而非测试时的显式推演。实验表明,测试时去掉视频生成对性能影响不大,但训练时去掉则性能显著下降。这提示我们,世界知识可以沉淀到表征和策略内部,换取更低时延和更高部署效率。GigaWorld-Policy和Chain of World等工作则关注如何把动作学习从纯行为模仿拉回到"后果建模",通过因果一致性约束提升长时任务控制能力。
除了视频预测路线,还有研究探索其他表征形式。V-JEPA 2采用隐空间预测,不执着于逐像素重建,而是在抽象特征空间中学习世界演化规律,更节省算力也更接近控制需求。PointWorld直接在三维点云流中建模动作作用后的空间变化,能够更直接地捕捉"物体会不会滑""接触点会不会偏"等关键物理量。还有一些工作采用显式世界模型与数字孪生路线,先重建环境再评估动作方案,虽然系统链条更长,但在工业应用中具有独特价值。这些多样化的技术路线,共同推动着视触觉融合技术的快速发展。
4. 典型方法对比与性能分析
4.1 富接触操作任务的挑战
富接触操作任务是评估视触觉融合系统性能的重要基准。这类任务通常涉及复杂的接触动态,对触觉反馈的实时性和准确性要求极高。典型任务包括易碎物体抓取(如薯片、鸡蛋),要求精确控制夹持力以避免破损;物体剥离(如削黄瓜皮、剥橙子),需要持续控制剪切力和摩擦力;表面擦拭与打磨,要求在不同倾斜角度的表面上保持稳定接触;精密装配(如插拔连接器),需要感知微小的力反馈并进行精细调整;以及柔性物体操作(如折叠衣物、整理电缆),涉及复杂的形变建模。
这些任务的共同特点是接触状态的快速变化和高度不确定性。在抓取易碎物体时,破损往往发生在毫秒级的时间尺度内,纯视觉系统难以及时感知和响应。在剥离任务中,工具与物体表面的接触是一个连续的动态过程,任何瞬时的接触失稳都可能导致失败。在表面擦拭任务中,不同材质和倾斜角度的表面需要不同的接触力,系统必须能够自适应调整。这些挑战使得富接触操作成为检验视触觉融合方法有效性的试金石。
4.2 关键技术洞察与经验总结
实验研究揭示了视触觉融合系统设计的几个关键洞察。首先是模态坍缩问题的普遍性和严重性。在共享骨干网络中联合优化视觉和触觉模态时,主导性的视觉梯度容易抑制局部的高频触觉信号。这不仅是VTAM /OmniVTA 面临的问题,也是几乎所有多模态融合系统的共同挑战。方法通过虚拟力正则化机制有效解决了这一问题：在训练过程中引入辅助损失函数,对触觉编码器的梯度进行针对性增强,确保触觉特征在反向传播中获得足够的更新信号。其他解决方案还包括触觉重建损失、采用独立编码器后期融合、使用注意力机制动态调整模态权重等。实验表明,这些机制对于确保触觉信号在训练过程中不被边缘化至关重要。
其次是预测与反馈的协同价值。单纯依赖当前触觉反馈的系统虽然能够感知接触状态,但缺乏前瞻性,难以应对快速变化的接触动态。而引入世界模型进行未来触觉预测后,系统能够提前评估动作后果,在多个候选方案中选择最优策略。更重要的是,预测触觉与实际触觉之间的差异本身就是一个强有力的控制信号,可以用于快速反应和误差补偿。这种"预测+反馈"的协同机制,正是人类神经系统在接触操作中采用的策略,其有效性在多个研究中得到验证。
第三是可迁移性与泛化能力的涌现。令人惊喜的是,在特定任务上训练的视触觉世界模型,往往能够泛化到新物体、新材质甚至新任务上。这表明模型学习到的不仅是特定任务的执行策略,更是可迁移的接触动态规律。例如,在刚性物体上学习的接触力控制知识,可以部分迁移到柔性物体上;在平面擦拭任务上学习的表面跟随能力,可以迁移到曲面操作上。这种泛化能力的涌现,暗示着系统正在从"执行动作"走向"理解物理接触",逐步具备类似人类的物理直觉。然而,当前的泛化能力仍然有限,如何进一步提升系统的零样本泛化和少样本适应能力,是未来研究的重要方向。
5. 世界模型的技术路线分化
5.1 四条主流技术路线
如果把最近的世界模型工作放在一起看，会发现世界模型并不是某一个固定架构，而是一组正在快速分化的方法。第一类是视频-动作联合建模路线，这类工作试图把动作和未来状态变化放进同一个系统里，让模型不仅学会"该做什么"，也学会"做完之后世界会怎么变"。代表性工作包括Motus、LingBot-VA、GigaWorld-Policy和Chain of World等。这条路线的价值在于把动作学习从纯行为模仿重新拉回到**"后果建模"**，其挑战则是部署成本和实时性。
第二类是隐空间或表征优先路线。这一类工作不执着于逐像素预测未来，而更关心能否在更抽象的特征空间里，学到足够好的世界演化规律。像V-JEPA 2所代表的思路，强调的不是"画出未来长什么样"，而是**"理解未来会怎样变化"**。它更节省算力，也更接近机器人控制真正需要的东西。
第三类是三维几何世界模型路线。像PointWorld这样的工作，不只是预测未来画面，而是直接在三维点云流中建模动作作用后的空间变化。这类路线很重要，因为对机器人来说，很多关键变量本来就不是"像素接下来怎么变"，而是**"物体会不会滑""接触点会不会偏""柔性体会不会塌陷""几何关系会不会失稳"**。
第四类是显式世界模型与数字孪生路线。这类工作更偏工程派，也更接近传统机器人学，先显式重建环境，再在这个可计算世界里评估和筛选动作方案。它的优点是更可解释，可以利用物理仿真引擎进行精确的动力学计算，缺点则是系统链条更长、对感知和仿真质量要求更高。这种方法在工业应用中有其独特价值，特别是在需要高可靠性和可追溯性的场景中。
5.2 VLA与WAM的分工协同
在世界模型涌现的过程中，一个重要的认识是：WAM不会替代VLA，而是会重写系统分工。更合理的理解是，VLA和WAM正在形成新的分工关系。VLA更适合做的，是理解人类意图、解析开放语义任务、调用已有技能，以及生成候选动作策略。WAM更适合做的，是建模环境状态如何演化、预测动作可能带来的物理后果、对候选动作做内部推演和物理校验，并为策略提供更稳定的世界先验。底层控制器则继续负责把选定方案变成稳定、连续、可执行的控制信号。
未来的系统架构更像是一种三层闭环：VLA负责"我想做什么"，WAM负责"这样做会发生什么"，控制器负责"怎样把它做稳"。这种分层设计既保留了VLA在语义理解和任务泛化方面的优势，又补充了WAM在物理推理和后果预测方面的能力，同时通过底层控制器确保执行的稳定性和实时性。
6. 结论与展望
过去两年，具身智能最大的进步是机器人终于开始"会做事"了。接下来更关键的一步，是它开始学着**"理解后果"。这并不意味着VLA的价值下降了，恰恰相反，VLA仍然会是机器人理解人类意图、承载通用策略的核心入口。但如果机器人真的要走进开放世界，它就不能只靠"看到什么就做什么"的统计直觉，还必须拥有某种形式的物理常识、状态推演和后果预判能力**。
从这个意义上说，世界模型的崛起并不是对VLA的否定，而是具身智能从**"动作模仿"走向"因果理解"的一次自然升级。机器人要学会的不只是动手，而是先想一想，再动手**。触觉传感与世界模型的结合，为这一目标提供了技术路径。通过预测性的视触觉建模，机器人能够在执行动作前评估可能的后果，在执行过程中根据实时反馈进行调整，从而实现更稳定、更鲁棒的物理交互。
参考文献
- 1. Wolpert, D. M., & Flanagan, J. R. (2001). Motor prediction. Current biology, 11(18), R729-R732.2. 新加坡国立大学、复旦大学等. VTAM: Visual-Tactile Action Model for Contact-Rich Manipulation. 2025. (也称OmniVTA框架)3. 它石智航等. OmniViTac: 大规模视触觉操作数据集. arXiv:2603.19201, 2025.4. Google DeepMind. Gemini Robotics系列模型. 2025.5. 相关世界模型研究：Motus, LingBot-VA, Fast-WAM, GigaWorld-Policy, Chain of World, V-JEPA 2, PointWorld等工作.6. 从VLA到WAM：具身智能的范式演进. 2025-2026.
