世界模型101：概念、技术争鸣与科学应用

"世界模型"已经成为人工智能领域最受关注的概念之一。从基于模型的强化学习、视频生成，到具身机器人，再到更宏大的"物理 AI"（Physical AI），各个子领域的研究者都在构建自己称之为"世界模型"的系统。连普通消费者也开始在各种场合听到这个词。

但一个尴尬的现实是：即便在学术界，"世界模型"的定义和内部架构至今没有共识。所以，本文结合最新的前沿研究，尝试回答三个基础问题：世界模型是什么？有哪些种类？能干什么？

起源：1943 年的一个洞见

世界模型并不是新概念。早在 1943 年，心理学家克雷克（Craik）就提出：生物体之所以能够生存和繁衍，是因为大脑中构建了物理世界的"工作模型"。

这个洞见的关键在于——生物不必事事依赖缓慢的、反复试错的物理交互。大脑可以在内部模拟假设场景、预测候选行动的结果、预先计算最优策略。这正是今天"世界模型"的思想雏形：先在脑子里把世界"跑一遍"，再去行动。

如今，这一思想被广泛应用于自动驾驶、人形机器人等具身智能和计算机视觉领域。

分类：李飞飞的"功能三分法"

面对众说纷纭的定义，被称为"AI 教母"的李飞飞近期提出了一个功能分类法（世界模型的功能分类 - 李飞飞最新文章），把世界模型按输出能力分为三类：

渲染器（Renderer）：生成视频，把内部世界"画"出来；

模拟器（Simulator）：预测状态转换，回答"接下来会发生什么"；

规划器（Planner）：直接产生动作，指导智能体行动。

这个分类的价值在于统一了"世界模型能输出什么"的语言。但要注意它的局限：它只规定了输出和用途，没有回答世界模型内部是什么、如何运作、架构长什么样。这正是下一个争论的起点。

四、路线之争：像素重建，还是潜空间预测？

关于世界模型的内部构建方法，目前仍是百家争鸣，最有代表性的是两派：

李飞飞的世界实验室认为，世界模型是一个统一的内部模型，可以根据不同的查询接口，解码为 RGB 像素、状态向量或候选动作建议——一个模型，多种出口。

以 LeCun 为首的 JEPA 学派（世界模型 V-JEPA杀入辅助驾驶应用，准备颠覆物理人工智能。）则认为，生成式的像素级重建从来不是正确的目标：在潜在空间中做预测就足够了，逐像素重建会把宝贵的表征容量浪费在无关的光度细节上。

两派其实有一个共同的底层认知，可以类比大语言模型：LLM 的成功本质上是对人类语言知识的压缩；而世界模型的核心目标，是对真实世界物理规律（感官观测与智能体动作的联合分布）的压缩。哪天世界模型成功了，就意味着物理世界的知识被压缩进了模型。

争论的焦点因此可以概括为一句话：世界该怎么表示、压缩到什么程度。精确的像素级重建不是终极目标，目前世界模型落地的关键是为下游应用保留足够的有效信息——难点就在于高保真物理细节与有损压缩的抽象语义之间的平衡。

数据决定上限：互联网视频是最大的宝藏

LLM 时代已经证明：数据是 AI 能力的上限。这条规律在物理世界同样成立——在架构和算力固定的情况下，决定泛化能力上限的是训练数据所代表的物理经验的多样性；架构和算力只影响逼近上限的效率，无法抬高上限本身。

问题是，机器人和自动驾驶硬件自己采集的数据，规模和多样性都远远不够。目前唯一能满足需求的数据源是开放互联网：数千亿量级的图像、视频和文本。其中互联网视频尤其关键。日常视频的原始像素流里，隐式地编码着支配物理现实的基础先验信息：

物体恒存性（物体离开视野后依然存在）；刚体与可变形材料的区别；运动和交互的运动学限制；光照与阴影的时间动态；遮挡与解除遮挡的因果逻辑；类人行为和交互的结构化先验。

但这些知识"潜藏在未标注的像素中"，无法直接访问。所以主流做法是一条两段式流水线：先用自动过滤和标注，从海量网络视频中释放隐含的物理知识，撑起泛化上限；再通过精炼筛选，去除无关视觉内容、合成标准化的动作表征，只保留对机器人有物理意义的运动和交互信号，让模型高效收敛到具身任务，同时不丢失从数十亿视频中学到的广泛物理先验。这套逻辑与 LLM 的训练逻辑一脉相承。

正式定义：一个模型，三个特性

综合上述讨论，可以就世界模型给出一个工作定义：世界模型是对物理世界状态转换过程的压缩建模，其构建受到有限计算资源的约束。在计算约束下，通用的物理世界模型天然具有三个特性：

全模态：不局限于文本或视觉，必须能对所有感知模态建模，形成统一的潜在表征；

多维异步：现实中各类传感器以不同频率采样，模型必须能处理多维、异步（多频）的序列数据；

局部性：智能体的感知受限于资源，只能观察局部区域，外部世界不断对局部施加干预——因此建模问题通常被形式化为部分可观测马尔可夫决策过程（POMDP）。

这个定义还带来一个范式转变。现有多数模型回答的问题是"给定当前观察，接下来会发生什么？"；而真正的物理世界模型要回答的是"正在发生什么、为什么发生、将会发生什么？"——这需要认知推理：识别系统的离散运行状态、划清正常与异常的边界、追溯系统演化至今的因果轨迹。

为什么这很重要？因为物理世界与数字世界有本质差异：数字数据一旦生成就永久可读，多年前训练的语言模型至今还能回答量子力学问题；而物理系统本质上是非平稳的、不断变化的，最关键的事件（如安全故障、罕见故障模式）可能从未出现在静态训练语料中。这就是静态世界模型注定难以应对物理世界的原因——我们需要的是能基于通用表征、针对具体应用自主实时做本地化调整、且在新模态接入时不崩溃的自洽动态系统。

两种视角：理解的工具 vs 预测的工具

学界看待世界模型还有两种互补的视角：

作为理解工具：把感觉数据压缩成稳定的内部表征，揭示解释当前情况所需的实体、关系和机制。预测在这里主要充当训练信号，逼迫表征学到正确的潜在结构。早期深度世界模型（如 Ha & Schmidhuber 2018）正是这种思路。

作为预测工具：价值取决于前瞻能力——预测世界如何演化、生成候选未来场景、支撑规划决策。LeCun 的自主智能框架把预测性世界模型放在推理与行动的核心，Sora 这类大规模视频生成器则是这种解释在"可观察未来"层面的代表。

在此基础上，世界行动模型（WAM）把预测和行动打通：它可以用显式的未来视频推理（视觉规划）、用紧凑的潜在轨迹推理，或用光流、3D 点流、RGB-D 轨迹等结构化空间表征推理。

在李飞飞的世界模型功能轴上，WAM 主要是规划器，但通常兼具模拟器功能——因为未来状态预测本身就是动作生成的组成部分，而非辅助手段。如果将当前主流的世界模型进行分类，可以整理出以下图片：

超越机器人：世界模型能做科学研究吗？

前面的讨论都围绕日常物理环境——机器人、车辆、可操作物体。那么这套框架能迁移到科学研究吗？答案是肯定的，因为基本范式不变，始终是三要素：系统的状态、可获取的观测、可实施的干预。

落到各学科：

化学：状态是分子种类、结构与反应进程；观测是光谱、色谱、产率；干预是实验中的受控操作。

生物学：状态涵盖分子网络到生物体的多尺度过程；干预包括基因扰动、药物给药。

天文学：状态无法直接获得，只能靠仪器间接观测；"规划"体现为目标、仪器与观测计划的选择。

事实上，现有科学模型已经部分体现了这一表述：气象领域的 GraphCast 学习全球大气状态的自回归转换模型来做中期预报——它是一个结构化的科学模拟器，例如当前台风来临的预测，但它还不是智能体世界模型，因为它不选择干预、也没有形成"预测—行动"闭环；分子尺度的 MDGen 学习分子动力学轨迹的生成模型，但同样不构成完整的实验规划系统。

一个完整的智能体科学世界模型还应更进一步：不只生成看似合理的测量结果，而要捕捉机制、遵循物理约束与不变量、量化自身不确定性、支持反事实干预，并把这些能力纳入实验闭环——提出假设、预测结果、执行实验、根据新证据更新内部状态。

结语

如果总结下世界模型是什么，我们可以把全文压缩成三句话：世界模型是什么——在有限算力约束下，对物理世界状态转换的压缩建模；它不只预测像素，而是包含潜在状态、观测形成和行动条件动力学的内部模拟器。它靠什么成长——数据多样性决定泛化上限，互联网视频是目前唯一够格的物理先验来源，当然还需要按照LLM模型的训练方法论来训练，我们后续文章分享。

它要去哪里——从回答"接下来会发生什么"，走向回答"正在发生什么、为什么、将会怎样"；从机器人和自动驾驶，走向化学、生物、天文的科学发现闭环。最后，关注Vehicle,后续我们还将有文章深入探讨世界模型的关键技术与架构。

参考资料以及图片

Understanding World or Predicting Future? A Comprehensive Survey of World Models JINGTAO DING∗ , YUNKE ZHANG∗ , YU SHANG∗ , JIE FENG∗ , YUHENG ZHANG† , ZEFANG ZONG† , YUAN YUAN† , HONGYUAN SU† , NIAN LI† , JINGHUA PIAO† , YUCHENG DENG, NICHOLAS SUKIENNIK, CHEN GAO, FENGLI XU, YONG LI, Department of Electronic Engineering, Beijing National Research Center for Information Science and Technology (BNRist), Tsinghua University, China。A Definition and Roadmap for World Models Physical Intelligence Team, Shanghai AI Laboratory

*未经准许严禁转载和摘录-获取本文参考资料方式：加入我们的知识星球可以下载公众号海量参考资料包含以上参考资料。