智驾仿真，终于等来了“军师”

作者｜苏佳灵

模拟器里的一次顺利的变道，未必经得起真实道路的检验。自车打方向、驶入相邻车道，后车沿着原有轨迹和速度行驶，整个过程平稳结束。但到了真实道路上，相邻车道的车可能减速留出空间，也可能加速缩小空隙。自车还要根据对方的反应，决定继续并线，还是暂缓变道。驾驶的难处，就在这一来一回之间。而在依赖固定轨迹回放的模拟器里，周围车辆更像按剧本移动的「木偶」：自车改变了动作，它们仍沿着既定路线向前。当模拟器里的车不会对你作出反应，再逼真的画面，也可能训练出错误的驾驶能力。一次看似成功的操作，便可能掩盖决策中的风险。模型练习得越多，也可能越相信这份虚假的安全。千里科技 World Model Team 发布的 BehaviorWorldGen，尝试给这些仿真「木偶」添上行为与响应能力：研发人员可以指定某辆车在某个时刻采取什么动作，周围车辆则随之生成合理的反应。智驾仿真，不只是把虚拟世界做得更像现实，还要让虚拟世界中的交通参与者能够作出合理反应，验证模型面对真实交通的应变能力。01仿真里的车，不能只按剧本走自动驾驶不缺日常驾驶记录，难得的是那些能暴露模型短板的瞬间，也就是长尾场景。过去，自动驾驶卷路测里程，用足够大的分母，去碰见更多的长尾场景。Waymo 在约 639.1 万英里的行车日志中，经过自动筛选与人工复核，符合其目标长尾场景标准的数据，仅占原始里程的约 0.03%。即便里程规模大如 Waymo，长尾场景也难以靠「碰」来穷尽。
Waymo 端到端驾驶开放数据集 (WOD-E2E) 的长尾场景示例而找到案例，也只是开始。真实道路很难配合研发，反复重现这些条件。模拟器则给了主动「出题」的机会：调整场景、重复测试，让不同版本接受同一道题的检验。今年 3 月，小鹏 X-World 的仿真场景库，从一年前约 3 万个增加到 50 多万个，每日仿真测试里程等效于 3000 万公里实车测试。
但问题是，生成了一个世界，不等于生成了一个真实运转的交通世界。Waymo 车载软件副总裁分享，仅仅回放录制数据的开环仿真不够，因为它就像走进一段录像回放，周围车流在动，却完全不理会你的行为。驾驶决策，是在与其他道路参与者的互动中不断调整。交通行为的可控性，成为仿真的一项重要能力。小鹏 X-World 提供了一套条件控制接口，将自车动作、周围交通参与者、道路元素以及摄像头参数纳入控制范围，实现可控多视角生成。千里科技 BehaviorWorldGen 框架则着重于交通行为的控制与生成，打通了两个环节：一是道路参与者的行为可控。只给一段轨迹贴上「变道」标签还不够，研发需要进一步决定：哪辆车变道，什么时候变道。BehaviorWorldGen 的核心组件 BehaviorFlow，是一种元动作条件的交通流模型，它将保持车道、变道、转弯、掉头等行为转化为明确的帧级元动作指令，再据此生成车辆运动。这套设计的关键，是让行为控制有了明确的时间落点。帧级元动作控制，把行为指令与逐帧的状态转换对齐，就可以在指定时刻，对指定车辆注入行为。假设让前方车辆在第 3 秒切入，再检验驾驶模型如何应对。有了这层控制，困难场景便不必完全依赖随机生成。研发可以围绕需要检验的问题，安排车辆动作及其发生时机。
二是响应关联，让一辆车的动作改变整个交通局面。BehaviorFlow 将生成过程拆成三个部分：

生命周期因子决定哪些车辆进入、保持或离开场景。元动作因子决定它们采取什么行为。状态因子则在前两者约束下生成具体的物理状态。

三个因子按顺序解码，先决定哪些车参与交互，再决定它们要做什么，最后生成具体状态。交互能力的关键落在最后一步，状态因子在所有激活车辆上联合生成，注入一个行为控制就会同时改变受控车辆和周围车辆的反应，实现多车交互一致性。一个路口，就能看出这种区别。自车准备左转，对向车辆准备直行。同样的起点、同样的行驶方向，可以生成两种不同的通行顺序：对向车减速等待，自车先转弯；也可以是自车让行，对向车先通过。
同一初始场景，通过元动作约束生成多种交互结局研发负责设定目标动作，未受约束车辆的响应则由模型生成。新的车辆状态形成新的交通局面，再成为后续生成的依据。谁先走、谁等待，以及另一辆车如何接着行动，行为控制由此从一辆车的动作，延伸到了多辆车之间的配合，并在后续生成中持续演化。BehaviorWorldGen 试图连接的，是「让目标行为按需发生」和「让周围交通随之变化」这两种能力。两者连通后，仿真里的车辆才有机会成为驾驶模型的训练对手。02模型缺哪，仿真「打」哪让仿真里的车参与交互，解决了「能不能练」的问题。但如果训练数据仍然大量重复它已经掌握的场景，新增投入就未必能补上眼前的短板。仿真要进入训练闭环，就需要让模型的失败，成为下一轮数据生成的依据。BehaviorWorldGen 的做法，是针对失败案例，定向生成训练样本。动作模型根据当前观测输出初始轨迹，场景级诊断随后识别碰撞、不安全车距、让行失败等工况，再将这些问题转化为 BehaviorFlow 能够接收的目标元动作提示，用来构造对应的交通交互。随后，BehaviorFlow 在行为约束下联合生成车辆状态，世界模拟器将场景渲染成多视图 RGB 和 LiDAR 观测，与修正后的交互感知轨迹配对，加入训练数据。一次失败可能发生在特定的车距、速度和动作时机下，将控制细化到具体车辆和具体时刻，让生成的交互更接近模型需要练习的内容。效果集中体现在最难的场景上，在筛选出的最困难的场景区间，原模型 PDMS<0.15（Predictive Driver Model Score，预测驾驶员模型分数），接近崩溃。加入 BehaviorWorldGen 生成的数据训练后，评分恢复到 34.8，恢复了规划性能。
从模型出错，到诊断失败条件，再到生成对应经验，原本分散的环节因此形成闭环。除了交互，BehaviorWorldGen 还支持天气风格迁移、雾度连续控制、稀有物体插入和轨迹编辑，可以把同一个失败场景扩展成不同能见度、不同障碍条件下的变体。可控之外，还得够快、保真。训练条件越丰富，生成任务也越多。场景生产过慢，定向训练仍然难以高频开展。在千里科技披露的对比实验中，动作条件世界模型采用因果生成方式后，每帧生成耗时从双向模型的约 20 秒压缩至 0.3 秒，提速近 70 倍。一段 93 帧的视频，生成时间由约半小时缩短到约 28 秒。同样的时间预算，能支持更多场景变体和更频繁的训练调整。提速也没有牺牲画质，按 FID 衡量，因果模型为 4.36，优于双向模型的 6.72。框架同时支持约 30 秒的长时序自回归生成，可以观察一次动作之后的连续变化。驾驶模型尝试不同动作时，虚拟环境需要承接新的路线。基于真实道路记录重建的场景，在原始观测覆盖充分的区域，更容易保持渲染质量；自车一旦为了避让而绕行，新视角就可能超出原有数据的覆盖范围。此时，模型的表现会受到场景缺失或失真的干扰。BehaviorWorldGen 用 3D 高斯溅射做场景外推，扩大重建场景的可用范围，再用 LiDAR 监督约束外推区域的几何结构，让模型改道后仍能拿到可用的后续观测。从失败诊断到定向生成，再到生成提速与空间扩展，BehaviorWorldGen 尝试缩短的，正是「发现模型不会」与「提供有效练习」之间的距离，让难等、难收集、难重复的长尾场景，有了主动编排的可能。
03智驾仿真，造得多还得教得会智驾模型架构与实现方式，目前呈现多路线并行的格局。在 VLA、端到端、世界模型等技术路线尚未收敛的阶段，千里科技需要解决的是：让可控交互适配不同组合，而不局限于某一套系统。BehaviorWorldGen 框架选择以结构化轨迹作为共同接口，连接上下游。上游，可以接入 VLA 模型及其他端到端规划器；下游，可以对接生成式世界模型，以及基于 3D 高斯溅射的重建式模拟器。上游采用怎样的模型架构，不必直接决定下游使用哪种模拟器；下游怎样生成画面，也不必与某一种驾驶策略绑定。行为生成与场景呈现可以分别改进，通过 BehaviorWorldGen 框架衔接。因此，交互生成能力不被限定在一条技术路线上。研究团队在三种动作模型上检验新增数据的训练效果。在原有 8.5 万条 NAVSIM 训练数据中加入 1.6 万条生成样本后，ChainFlow-VLA（视觉语言动作模型）的 PDMS 从 93.1 提升至 93.3，ReCogDrive（视觉语言动作模型）从 86.5 提升至 87.3，DiffusionDrive（端到端规划器）从 87.7 提升至 88.6。三种架构均获得改善，说明生成数据的作用并未局限于单一模型。
兼容性的价值，由此落到研发积累上。
一套方法服务的技术组合越多，就越有机会从单次实验的专用工具，变成可以反复调用的数据生产能力。团队不必每次重新构建完整链路，而可以围绕具体模块持续改进。随着合成数据在训练中的分量增加，这种能力的重要性也在上升。根据佐思汽研《2025 年中国智能辅助驾驶数据闭环研究报告》，合成数据在自动驾驶训练数据中的占比，从 2023 年的约 20%-30%，提高到 2024 年的 40%-50%，2025 年已超过 50%。当更多驾驶经验来自生成，仿真数据的质量，就会更直接地影响模型能力。场景丰富、画面逼真，只是基础。作为 AI 学习真实世界规律的虚拟训练环境，世界模拟器正更深入地参与训练与验证闭环，场景生成与训练、评价之间的联系越来越紧密。Waymo 在 Driver 和 Simulator 之外，设置 Critic，分析真实道路和仿真中的驾驶行为，为训练与评估提供信号。道路经验经过筛选、标注和模型更新之后，还要接受仿真及安全验证，才能判断改进是否成立。BehaviorWorldGen 的切口更具体：以可控交互补充失败场景的训练数据，再通过共同接口适配不同的模型与模拟器，将这项能力接入训练与验证闭环。道路上遇到的问题，可以成为诊断与生成的起点；生成的数据是否有效，则继续接受训练和验证的检验；仍然失败的情况，则继续推动诊断与样本补充。
这条闭环补充的是训练经验，替代不了真实道路验证。合成数据的分量越来越重，生成场景之外，持续、可验证的模型进步，是一场看不见硝烟的智驾仿真竞争。