最近,比亚迪汽车新技术研究院发布了一篇名为《HyWorldVLA》的学术论文,这是比亚迪首次在自动驾驶基础模型领域的公开亮相。
图片源自:比亚迪论文
这篇论文中提出了混合世界模型的概念,而这个混合模型,正是建立在像素级世界模型和隐空间世界模型之上。
这两种世界模型到底是什么?它们各自有什么作用?比亚迪为什么要做混合世界模型?
01、什么是像素级世界模型?
像素级世界模型,顾名思义,就是让AI像放电影一样,一帧一帧地预测未来几秒钟的路况画面。
比如前方有一辆车正在变道,模型会精确预测出这辆车在接下来每一帧画面中的位置、形状和运动轨迹。
在右转过程中,尽管前视摄像头输入中未见车道标线,模型仍能可靠地预测未来的车道标线,图片源自:比亚迪论文
它的作用是为自动驾驶提供密集的空间和动态训练约束。
什么意思呢?就是模型必须真正理解场景的几何布局和物体运动关系,才能准确预测出下一帧是什么。
这种高精度的预测能让AI保留车道线走向、车辆运动轨迹、遮挡关系等大量细节信息,这对于安全驾驶来说是至关重要的。
但也正因为是逐帧预测画面,像素级世界模型的短板也同样突出。
像素级世界模型的计算成本极高,每一帧画面都要精细计算,对算力的消耗巨大。
此外,现实世界中的雨、雾、传感器脏污、光照突然变化等外部干扰,会在预测过程中被不断放大,最终会让预测结果严重跑偏。
这就像戴着沾了水雾的眼镜看路,会越看越模糊。
02、什么是隐空间世界模型?
要理解隐空间世界模型,得先搞清楚隐空间是什么。
所谓隐空间,说白了就是将完整的视频素材压缩一下,丢掉像素级的画面细节,只抽象记录路上有什么、它们在怎么动等信息。
这就好比把一段行车记录仪的视频,浓缩成一篇文字笔记。
隐空间世界模型就是在这个压缩后的抽象空间里做预测,它不关心每一帧画面长什么样,只关心抽象层面的状态变化。
比如对向车道来了一辆车,隐空间模型不会去精细描绘这辆车的颜色和型号,只会抓住有一辆车正以什么速度、什么方向朝你驶来这样的信息。
隐空间模型的优势体现在两个方面。
一个是计算效率高,由于是在紧凑的特征空间里做预测,会比在像素空间里省力。
还有就是抗干扰能力强,因为跳过了具体的像素画面,雨雾、脏污这些视觉噪声对它的影响微乎其微。
但隐空间模型的问题也很明显。
如果只靠抽象描述来训练,缺少足够的视觉监督信号,模型学到的可能只是空洞的统计规律,并且会丢掉车道线在哪、前车是加速还是减速这类对驾驶至关重要的细节信息。
毕竟纯靠抽象想象画面,终究不如亲眼所见那么真切。
03、比亚迪的混合世界模型做了什么?
像素级模型看得清但怕干扰、算得慢;隐空间模型跑得快、抗干扰但看不清细节。
两条路各有所长,也各有各的问题。
世界模型范式的对比。(a)像素的世界模型;(b)隐空间世界模型;(c)混合世界模型,图片源自:比亚迪论文
比亚迪的HyWorldVLA给出了一个解法,即预训练阶段让两条路结合,实际推理时只用一条。
在预训练阶段,像素级世界模型和隐空间世界模型同时工作。
隐空间的抽象分析可以帮像素级模型稳住方向,即不让雨雾、光照这些外部干扰把画面带偏。
像素级的高精度画面又可以反过来帮隐空间模型校准精度,以确保抽象表征没有丢失关键细节。
两个信号一紧一松、一密一疏,共同将模型训练到既富含信息又不过度敏感。
而到了真正上路推理的时候,模型只使用隐空间模型来做预测。这样既保证了预测的准确性(因为训练阶段已经被像素级模型调教过),又保证了实际运行的效率(因为只用轻量的隐空间模型)。
HyWorldVLA的整体架构,图片源自:比亚迪论文
这套方案在自动驾驶公开测试平台NAVSIM上跑出了亮眼成绩,NAVSIM v1综合得分90.59分,刷新了公开榜单的最好成绩;在指标更全面的NAVSIM v2上也拿到了89.71分。
测试采用的综合指标EPDMS不是简单地比谁看得准,而是综合评估车辆是否会发生碰撞、是否保持在可行驶区域、是否保持安全距离、能否完成驾驶目标、行驶是否平顺舒适。
04、比亚迪做这件事,到底有什么意义?
其实很长一段时间,外界对比亚迪的刻板印象一直是重制造、轻研发。
这篇论文由比亚迪汽车新技术研究院独立完成,证明比亚迪不仅在做AI研发,还具备从0到1的基础模型研发能力。
这篇论文其实也是比亚迪为L3级自动驾驶做的关键技术储备。
就在论文发布前不久,比亚迪推出了自研的4nm高阶智驾芯片璇玑A3,单颗算力约700TOPS。从自研算法到自研芯片,比亚迪正在构建完整的智驾技术闭环。
此外,世界模型一直是自动驾驶的前沿方向,其可以让AI从识别道路走向理解世界。
这也是特斯拉FSD、Waymo、英伟达等顶尖玩家正在探索的方向,比亚迪选择在这个时间点切入,说明它不想在下一阶段的智驾竞赛中掉队。
05、最后的话
先前在智驾最前沿的评论区有人提及了这篇论文,小编也花了些时间学习了这篇论文。
坦白说,这篇论文确实让人对比亚迪刮目相看。
过去提到比亚迪的智能化,大家更多想到的是供应链整合和规模化落地。
但这篇HyWorldVLA至少在技术研发层面,证明了比亚迪有能力站在自动驾驶技术的前沿。
不过这只是一篇论文,还是要冷静看待,论文成果和实际量产之间必然还有很长的路要走。
在仿真测试里拿高分,不等于在真实道路上就能开得好。真实道路的复杂程度和极端场景都不是仿真平台能完全模拟的。
但话说回来,比亚迪手里有一张其他车企没有的王牌,那就是巨大的销量带来的海量真实驾驶数据。
对于自动驾驶大模型来说,数据是训练世界模型最好的燃料,比亚迪的保有量优势一旦被有效激活,将成为它在智驾赛道上的护城河。
这篇HyWorldVLA论文,大概就是比亚迪往技术鱼池里放的一条鱼苗,至于这条鱼能不能长成巨鲸,还是拭目以待吧。
#自动驾驶 #HyWorldVLA #比亚迪
295
