特斯拉FSD端到端大模型方案解析（基于近5次公开演讲）

做作为智能驾驶的头部玩家，特斯拉的端到端大模型技术方案一直备受关注。不过，自从2022年Tesla AI Day之后，特斯拉就再没有组织过专门的技术介绍，也很少发相关的技术论文。

本文以特斯拉自动驾驶与机器人团队负责人 Ashok Elluswamy、工程负责人 Phil Duan（段鹏飞）、AI和运动规划工程师Daniel Kurek近一年以来的公开演讲为依据，系统梳理特斯拉端到端自动驾驶（FSD）算法的架构与其背后的方法论。

这些演讲一共 5 场，分别是：

1. 2025 年 10 月 20 日，ICCV 2025 · WDFM-AD（檀香山 316 C），Ashok Elluswamy，《Building an Autonomous Future》；https://www.youtube.com/watch?v=IRu-cPkpiFk

2. 2025 年 12 月 2 日，NeurIPS 2025 · Expo Talk Panel（圣地亚哥 Exhibit Hall G,H），Daniel Kurek（Tesla AI & Motion Planning），《Building Foundational Models for Robotics at Tesla》；https://neurips.cc/virtual/2025/loc/san-diego/expo-talk-panel/128654

3. 2026 年 1 月 29 日，Scaled ML 2026（Matroid 呈现），Ashok Elluswamy，《Building Foundational Models for Robotics at Tesla》，含现场 Q&A；https://www.youtube.com/watch?v=LFh9GAzHg1c

4. 2026 年 6 月 3 日，CVPR 2026 · WAD 工作坊（丹佛 Room 603）与 WDFM-EAI 工作坊（首届），Ashok Elluswamy，《Building Foundational Models for Robotics at Tesla》；https://www.youtube.com/watch?v=2V0ddkF1Svo

5. 2026 年 6 月 3 日，CVPR 2026 · 4th DriveX Workshop Keynote（丹佛 Room 207），Phil Duan（段鹏飞），《Self-Driving at Scale with Foundation Models》，含现场 Q&A；https://weibo.com/1652185502/5329564842596113

这些演讲的主体内容是类似的，不过其中许多点也有不同视角的解读，在Q&A环节也有不少有价值的信息，大家有时间也可以自己观看一下。

01端到端模型的主要挑战

特斯拉在演讲中首先提到了端到端模型的主要挑战，主要是严重欠约束、可解释性和安全保障、以及评估。

1. 挑战1：严重欠约束

自动驾驶是一个"Massively underconstrained（严重欠约束）"系统。

根据特斯拉的测算，输入上下文长度约 20 亿 token，其来源是：7 路摄像头 × 36 FPS × 500 万像素 × 30 秒历史，再除以 5×5 的像素块；在此之外还要叠加导航地图与前方数英里的路线、100 Hz 的车辆运动学数据（车速、IMU、里程计等）以及 48 kHz 音频。

而输出侧只有 2 个 token：下一步的转向与加速度。

因此，模型需要学习的是从 20 亿个 token 到 2 个 token 的正确因果映射，且这一映射必须建立在正确的逻辑之上。

这种严重欠约束系统，会给训练带来巨大的挑战。

例如，在夜间高速、雪地、浓雾、白天多车道，四个在视觉上天差地别的世界，标签却完全相同，都是 < drive straight >。其后果是，模型会找到一条捷径："管它看到什么，我直行就好，大部分时候都对。"这就是典型的捷径学习（shortcut learning），模型达成了低 loss，却什么都没学会。

另一个例子是在一个复杂路口：神经网络在同一帧中看到的是一大堆指示牌、背景里的一串绿灯，甚至远处还有"禁止驶入"标志。在只有 2 个输出数字提供监督的条件下，模型很难知道应该看左转箭头而不该看背景的那颗绿灯。模型很有可能学到"背景有绿色，就可以走"这类伪相关。

2. 挑战2：可解释性和安全保障

端到端架构的第二类挑战是黑箱：一旦出问题，很难判断模型是识别错误，还是判断错误，也就难以做后续的问题分析和解决。

图宾根大学团队在 ICCV 2023 论文《Hidden Biases of End-to-End Driving Models》中指出，端到端驾驶模型的性能来源往往不透明：模型会利用与驾驶能力无关的"隐藏偏置"取得高分，例如依赖导航目标点周期性纠正转向误差（目标点捷径），或对多模态的未来速度预测取平均。

对于完全黑箱的端到端系统，训练中的低 loss 与基准高分，并不等于模型掌握了正确的因果逻辑，类似这些“捷径”会导致切弯等灾难性错误。

3. 挑战3：评估

特斯拉认为评估是三个挑战中最难的一个，难点包括：即便数据集质量很高，loss 也不足以代表真实性能；好的开环表现并不保证好的闭环结果；避免一次失败有很多种方式，指标必须能捕捉这种多模态性；以及需要均衡且详尽的评测集等等。

对于开环测试的弊端，行业很早之前就已经有不少论证：

图宾根大学与博世团队在《Parting with Misconceptions about Learning-based Vehicle Motion Planning》（https://arxiv.org/abs/2306.07962）中指出，nuPlan 同时要求的“精确短期规划”与“长期自车预测（ego-forecasting）”两个任务“根本错位”（fundamentally misaligned），以 L2 误差衡量规划质量并不可靠，甚至仅输出车道中心线的朴素基线，就能在开环子任务上取得相当好的成绩。

Bench2Drive 基准（https://arxiv.org/abs/2406.03877）在论文中同样指出，以 nuScenes 式开环回放（L2 误差+碰撞率）评测端到端模型"无法充分反映算法的驾驶能力"，这已是行业公认的问题。

02特斯拉FSD总体架构

1. 模型形态

特斯拉明确表示，特斯拉FSD基础模型采用大型神经网络构建，从传感器输入，直接输出控制动作，运行频率36 Hz。

模型的输入摄像头、导航地图、车辆运动学数据、音频等，输出是"下一个动作"，即下一步的转向与加速度指令。整个链路上没有手写规则，也没有人工编写的中间表征。

不过，根据演讲的公开信息，实际特斯拉FSD并非由单一模型完成全部工作。不同传感器采用了各自的 tokenizing 方式，因此系统内部仍存在某种程度的模块化。这些模块使用深度神经网络构建，梯度可以全程流动（flow all the way），支持端到端训练，能够保证从传感器流入的每一点信息都可以被用于决策。

特斯拉认为，如果直接用一个大型 Transformer 处理大量的输入原始数据输入，计算会非常困难，很难满足延迟要求。

目前行业流行的VLA、世界模型等，并不追求一个大模型解决全部问题，端到端的核心并非是几个模型，而是梯度可以在不同模块中流动，从而支持端到端训练。

2. 工作方式

和其他端到端模型一样，FSD基于观测，预测汽车的下一个控制量（期望的方向盘和驱动/制动指令），即：Controls = FSD(observations)。

相对于语言模型所处的文本世界，自动驾驶所在的真实世界复杂度更高，且必须将延迟纳入设计约束。自动驾驶需要以很高帧率，不断重复"观测—运动—外界变化—再观测-再运动"的循环。

3. 跨本体共用

特斯拉开发的端到端基础模型，会同时应用于自动驾驶、机器人（Optimus）和数字智能体（Digital Optimus）这三个产品。

特斯拉认为，这三个产品本质上是"同一个基础模型在不同身体上的投影"，目标是使用通用机器人，把人类从重复性体力/脑力劳动中解放出来，创造"Amazing Abundance（极度丰裕）"。

03特斯拉FSD实现思路

除了架构的设计，在具体实现层面，特斯拉介绍了在数据、可解释输出、思维链、生成式高斯泼溅和世界模拟器等方面的一些思考。

1. 数据

特斯拉首先强调的是数据，并且是覆盖度广的高质量长尾数据。

特斯拉车队每天可以产生海量驾驶数据，但其中绝大多数驾驶是常规场景，需要筛选其中的关键数据。

特斯拉筛选数据有两条准则：

1）稀少的长尾数据。例如很少遇到的目标、天气或者场景。

2）模型输出与人类司机操作不一致的数据。通过抓取"模型想这么开、人类实际那么开"的工况，不断补充模型尚未掌握的知识。

基于这两条准则，特斯拉设计了五类采集机制：1）基于复杂触发器的数据采集；2）在车端运行的小型神经网络（Tiny NNs），专门捕捉特定 corner case（例如紧急车辆等特殊障碍物）；3）持续评估模型预测与实际发生情况是否一致（事后验证）；4）自动驾驶期间任何一次用户接管；5）状态空间中发生的任何剧烈变化。

特斯拉在全球拥有数百万的车辆，这套机制可以提炼出足够的数据量，并且满足质量和数据类型要求，使其覆盖驾驶的全部范围。

据介绍，特斯拉日常使用的典型数据集达到数百 PB、120 年以上的驾驶时长，内部数据看板峰值甚至高达1.05亿个视频片段、148 年时长。

值得一提的是，特斯拉采用纯视觉方案，车上没有激光雷达，那么训练长期需要的 3D 占用、3D 检测真值从何而来？特斯拉给的答案是离线自动标注（auto-labeling），即使用云端大模型对采集到的视频生成 3D 真值，再用来监督车端模型，这是纯视觉路线能拿到稠密 3D 监督的关键方法。

离线自动标注在行业内被广泛使用，许多都在使用激光雷达。Waymo在其 CVPR 2021 论文《Offboard 3D Object Detection from Point Cloud Sequences》提出离线 3D 自动标注系统，利用 LiDAR 点云序列在时序上的多视角互补性，先离线检测、再以目标为中心迭代精炼，批量生成高精度 3D 真值——同样是"用更大、更慢的云端模型为车端模型生产标注"。

激光雷达方案使用主动测距，直接获得精确的三维几何与绝对尺度，标注精度高、歧义小；但采集车队必须搭载 LiDAR 与高精度定位设备，成本高、规模受限，长尾场景覆盖取决于专业采集车的行程。

纯视觉自动标注路线的采集车队就是数百万台量产客户车，规模与场景覆盖有数量级优势，视频时序天然提供稠密监督；代价是深度与尺度要靠多视几何与学习模型推断，远处与小目标的真值精度更依赖云端大模型能力，需要大规模离线算力保证标注质量。

2. "可解释输出"

为了保证“可解释性”，FSD模型会输出很多中间信息，这些信息最终汇总、经过推理后产生动作。

这些"可解释输出"具体包括：3D 占据与流信息；车辆、行人、骑行者等物体；交通管制要素（信号灯、标志）；道路边界、车道语义与限速；各交通参与者的交互概率；以及用自然语言表达的决策理由。

为了生成这些“可解释性输出”，特斯拉建立了16 类代理任务，包括：3D 几何、2D/3D 目标检测、目标跟踪、语义分割、实例分割、稠密深度、场景与光流、OCR 与标志理解、图像分类、场景理解、视觉问答、定位与建图、未来帧预测、图像重建等等：

特斯拉认为，这些“可解释性输出”对预测出正确的控制动作非常重要，主要作用有3个：

1）让梯度流过网络。只有 2 个数字的梯度过于稀疏，无法支持一个庞大的神经网络模型的训练。而"这个像素属于哪个物体"、"这个点离你多远"、"这块牌子写了什么"等提供的是逐像素、逐帧的稠密监督，梯度量级高出好几个数量级。

2）强迫模型形成正确的表征。如果编码器的特征必须同时支持预测 3D 占用与识别标志文字，那么模型就不可能只学到"画面偏亮就直行"这类捷径，因为那种特征无法完成分割与 OCR 任务，这些“可解释性输出”可有效防止出现捷径学习。

3）把因果注入模型。只有当模型通过OCR 加标志理解，能够读出"左转绿箭头"，才有可能建立"绿箭头则可左转"的正确因果，而不是"背景有绿色就可以走"。

因此，特斯拉的“可解释性输出”不仅服务于训练阶段的梯度构造，并且还在车端实时运行，兼具可解释性与思维链中间结果的验证功能。

Waymo的基础模型在支持端到端梯度回传的同时，也保留了物化的结构化表征（目标、语义属性、路图元素），专门用于推理时的正确性与安全性校验，这与特斯拉"可解释输出兼具验证功能"的定位一致。

"端到端主干+显式中间输出"正在成为行业收敛的形态。

“可解释性输出”除了帮助模型更好的训练和推理，对于满足行业相关的安全论证框架，也同样重要。

例如，ISO 21448（SOTIF，预期功能安全）是处理无硬件故障条件下，因传感器与算法局限导致的性能不足和可预见误用；UL 4600 采用"安全案例（safety case）"方法，要求以目标—论证—证据的结构对无人类监督的自动驾驶产品进行安全评估。两者都要求厂商提供可审查的证据链，客观上要求端到端系统需要保留可解释的中间证据。

3. 思维链：自然语言推理（模型内部的"系统 2"）

为了更好的对应长尾场景，特斯拉还在模型中设计了“慢系统”，通过思维链对复杂场景进行理解。

例如，如下一段施工长尾场景：前视画面中道路被橙白相间的施工护栏挡住，路侧立有"ROAD CLOSED THRU TRAFFIC"与绿色"DETOUR"标志。

模型先识别出绕行标志与施工护栏，完成检测与标记，随后以自然语言一问一答的方式展开推理链：“能按导航路线直行吗？不能，前方有改道牌和施工护栏。那该怎么走？在这个路口左转。为什么不右转绕行？因为改道牌指示向左”。每一步都对应打勾或打叉，最终落到左转的动作结论上。

特斯拉提到，在实时驾驶过程中，并不是对每一件事都进行详细推理，因为这将带来无法接受的延迟。只有在需要的时候，才进行更长时间的推理，以正确地理解复杂环境。

特斯拉采用的“快慢系统”，是目前自动驾驶模型设计的一种经典架构，被许多自动驾驶玩家所采用。

在L2辅助驾驶方面，清华大学交叉信息院与理想汽车的 DriveVLM 以思维链组织场景描述、场景分析与分层规划，其DriveVLM-Dual采用快慢双系统，VLM 作为慢系统处理长尾场景，端到端网络作为快系统保证实时性，两个系统并行运行、按需介入，已在理想 Max 车型上完成部署。

在L4自动驾驶方面，Waymo的基础模型同样采用"Think Fast and Think Slow"（即 System 1/System 2）架构：传感器融合编码器融合相机、激光雷达、雷达的时序输入，负责快速反应；Driving VLM（基于 Gemini 在 Waymo 驾驶数据与任务上微调）负责复杂语义推理，处理罕见与新异场景——例如前方车辆起火时，即便物理空间可通行，VLM 也能给出改道或掉头的语义信号。两路表征汇入 World Decoder，输出他车行为预测、高精地图、轨迹与校验信号。

4. 生成式高斯泼溅：把空间理解变成可验证的稠密监督

在场景重建方面，3D高斯泼溅（Gaussian Splatting）是目前业内常用的方法。该方案使用大量带有位置、协方差、颜色与透明度属性的高斯椭球来表征场景，再通过可微渲染将椭球投影到图像平面，以渲染图像与真实相机图像的差异作为监督信号优化重建表征，从而获得照片级重建效果。相比点云或多边形，它更高效且可微；相比 NeRF 等隐式表达，其几何信息更明确。

为了提升性能，特斯拉采用了前馈生成式高斯泼溅（feedforward generative Gaussian splatting）。相对于传统方法，特斯拉的前馈生成式高斯泼溅可以将耗时从约 30 分钟降到 220 毫秒，无需初始化 3D 关键点，支持动态物体，且新视角渲染质量更高。

行业其他玩家在驾驶场景三维重建方面也已经做了不少工作。

NVIDIA 的 EmerNeRF 将场景分解为“静态场 + 动态场 + 流场（scene flow field）”三个场，用于驾驶场景的神经重建与仿真。浙江大学与理想汽车的 Street Gaussians 将动态街景显式建模为一组带语义与 3D 高斯的点云，前景车辆用可优化跟踪位姿与动态球谐函数建模外观，训练约 30 分钟、渲染达 135 FPS（1066×1600 分辨率），支持物体级的场景编辑。

可以看到，无论 NeRF 还是 3DGS，行业主流仍是"逐场景离线优化"，即每个场景单独训练拟合，耗时从半小时到数小时不等，适合离线构建仿真资产。

而特斯拉的前馈生成式高斯泼溅则是单次前向推理直接输出高斯场景，因此用途更广：

1）在车端实时运行（每次耗时220ms）。作为车端大神经网络的旁路输出分支之一，与全景分割、3D 占据、语言推理并列。确保系统对周围环境的良好空间理解，也可以作为 CoT 中间结果，去验证感知层是否真正看见障碍物。

2）在训练阶段提供密集监督信号。由于动作标签是稀疏的，而3D高斯重建能反过来为感知分支、中间表征提供逐像素的稠密监督。

3）支撑特斯拉实现闭环仿真系统，用来生成对抗场景、做回归测试。

5. 世界模拟器

对于模型评估，特斯拉认为必须采用生成式闭环仿真方法。特斯拉从准确性、可复现性、可编辑性、可扩展性四个维度，对比四种评测手段的结果。

其中，开环回放可扩展却既不准确也不可编辑；显式规则仿真可复现可编辑，但难以扩展到真实世界的复杂度；真实道路测试准确但既不可复现、不可编辑、也无法扩展。而生成式仿真可以同时兼顾4项指标。

为了实现闭环仿真评估，特斯拉训练了一个神经网络世界模拟器（World Sim NN）。

模拟器以当前状态与动作为输入，预测下一时刻的状态——摄像头画面、导航地图、车辆运动学、音频等。

特斯拉认为，可以把那些易于收集的状态-动作对"反转"过来，构建一个在给定过去状态与动作的条件下合成新状态的世界模拟器。这类数据几乎可以免费获得，不需要最优驾驶，任何类型的"垃圾驾驶数据"都足够用来训练，也不需要人工画框或打标签。

策略模型在世界模拟器中的评测过程是：策略模型看到 t 时刻画面，决定一个动作，世界模拟器根据动作生成 t+1 时刻的新画面，策略模型再看新画面、再做动作。

这个世界模拟器可以生成所有 8 路摄像头一致的长时序视频流，与策略网络串联、在闭环中运行以模拟世界，实现闭环强化学习。也可以在历史失败案例上重新评估新策略，以及，合成生成新的对抗性事件。

生成式世界模型目前是行业研究的热点。世界模型可以用于合成训练数据或扩充场景库，也可以与策略网络串联成闭环，承担模型回归测试、对抗场景合成与闭环强化学习环境的角色。

对于采用世界仿真器进行模型训练和评估的案例很多了。

NVIDIA 在 2025 年 6 月发布 Cosmos-Drive-Dreams，把 Cosmos 世界基础模型在驾驶数据上后训练，用于生成挑战性驾驶条件（开发者博客，https://developer.nvidia.com/blog/simplify-end-to-end-autonomous-vehicle-development-with-new-nvidia-cosmos-world-foundation-models/）。

华为乾崑 ADS 4 采用"世界引擎+世界行为模型"（WEWA）架构，官方称云端世界引擎用 AI 生成难例场景、难例场景密度可达真实世界的 1000 倍，并已在云端完成 6 亿公里高速 L3 仿真验证。

理想在 GTC 2026 演讲中也介绍了用世界模拟器与生成式场景构成闭环强化学习框架：

Waymo专门构建闭环、真实的仿真器来训练并"严格测试"Driver，评估系统被摆到与驾驶系统同等的地位。

小鹏在 2026 年 3 月发布的 X-World 技术报告中介绍，已基于 X-World 构建 VLA 2.0 的闭环评估引擎，在贴近真实视觉分布的虚拟环境中度量碰撞率、目标完成进度、乘坐舒适性等指标；其仿真场景一年内从 3 万个增至 50 万个以上，日均仿真里程相当于 3000 万公里真实道路驾驶。

蔚来的世界模型 NWM 配套生成式仿真模型 NSim，以"千万个世界共同验证轨迹"的方式构成闭环仿真测试能力。

6. 其他

1）模型训练方法。特斯拉提到采用了模仿学习（Imitation Learning，IL）和强化学习（Reinforcement Learning，RL）。IL负责从人类驾驶数据学习"通常怎么开"，RL负责用可验证奖励学习"什么绝对不能做"，两者共同用于防止事故。

行业其他有很多自动驾驶玩家都采用了IL+RL的训练方法，不再一一举例。

2）"安全兜底层"。当前不少辅助驾驶与自动驾驶公司，会在神经网络输出之后再挂一个规则化的安全监控层，例如轨迹碰撞校验、多方案切换、失败时回退到保守策略。而特斯拉主要依赖模型本身来实现"安全兜底"，而非规则化的代码。

目前，行业主要还是采用"规则化代码”的“安全兜底"方案。例如，

Mobileye 的 RSS（Responsibility-Sensitive Safety）将安全距离、路权等常识规则形式化为数学模型，作为独立的安全校核层，并为事故责任认定提供可审查的形式化依据。

NVIDIA DRIVE AV 中有独立安全监控层（SFF，Safety Force Field，安全力场），它独立接收感知信息，基于时空物理模型实时计算自车与周边道路参与者的安全可行动作边界，对主规划输出的转向、加减速指令做独立校验，一旦判定存在碰撞风险，就否决危险指令并施加最小扰动的安全控制（减速、保持车道等）。SFF具备数学可证明的安全特性，在主 AI 规划出错、遭遇分布外场景等 SOTIF 风险时充当防撞兜底屏障。

Waymo 亦明确其车载架构在生成式 ML 模型输出之上设有独立且严格的车端验证层（onboard validation layer），对模型产生的轨迹逐一校验。

特斯拉看起来把安全责任依然交给模型，这种方法当然可以规避规则层固有的保守性与覆盖率矛盾（规则无法枚举所有场景，如过于保守会损害通行效率），不过代价是难以给出RSS/SFF那样的形式化安全证明，安全论证只能依赖大规模闭环仿真与实车统计，这种做法看起来更为激进。

04结语

综合特斯拉的近期的几次介绍，虽然没有介绍太细节的模型结构，但是演讲中提到的端到端架构、数据采集、“可解释性输出”、“快慢系统”、基于高斯泼溅的场景重建，基于世界模拟器的闭环验证等思路，基本和行业主流玩家探索的方向一致。

在大模型时代，自动驾驶核心任务是：构建一个正确的模型，并且想办法证明他的正确性。模型的评估能力与模型本身的构建能力，同等重要。

后面有特斯拉进一步的分享信息，我们再继续讨论。

个人观点，未必准确，欢迎讨论。

我是雪岭，研究感知、控制和人工智能的技术、产品和应用，欢迎交流。

联系雪岭和全集索引请参考：https://my.feishu.cn/wiki/LixwwezROiXPwBkvS6ccfcaBn6d