• 正文
  • 相关推荐
申请入驻 产业图谱

像素级、隐空间和混合,比亚迪HyWorldVLA中的三种世界模型是个啥?

21小时前
295
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

最近,比亚迪汽车新技术研究院发布了一篇名为《HyWorldVLA》的学术论文,这是比亚迪首次在自动驾驶基础模型领域的公开亮相。

图片源自:比亚迪论文

这篇论文中提出了混合世界模型的概念,而这个混合模型,正是建立在像素级世界模型和隐空间世界模型之上。

这两种世界模型到底是什么?它们各自有什么作用?比亚迪为什么要做混合世界模型?

01、什么是像素级世界模型?

像素级世界模型,顾名思义,就是让AI像放电影一样,一帧一帧地预测未来几秒钟的路况画面。

比如前方有一辆车正在变道,模型会精确预测出这辆车在接下来每一帧画面中的位置、形状和运动轨迹。

在右转过程中,尽管前视摄像头输入中未见车道标线,模型仍能可靠地预测未来的车道标线,图片源自:比亚迪论文

它的作用是为自动驾驶提供密集的空间和动态训练约束。

什么意思呢?就是模型必须真正理解场景的几何布局和物体运动关系,才能准确预测出下一帧是什么。

这种高精度的预测能让AI保留车道线走向、车辆运动轨迹、遮挡关系等大量细节信息,这对于安全驾驶来说是至关重要的。

但也正因为是逐帧预测画面,像素级世界模型的短板也同样突出。

像素级世界模型的计算成本极高,每一帧画面都要精细计算,对算力的消耗巨大。

此外,现实世界中的雨、雾、传感器脏污、光照突然变化等外部干扰,会在预测过程中被不断放大,最终会让预测结果严重跑偏。

这就像戴着沾了水雾的眼镜看路,会越看越模糊。

02、什么是隐空间世界模型?

要理解隐空间世界模型,得先搞清楚隐空间是什么。

所谓隐空间,说白了就是将完整的视频素材压缩一下,丢掉像素级的画面细节,只抽象记录路上有什么、它们在怎么动等信息。

这就好比把一段行车记录仪的视频,浓缩成一篇文字笔记。

隐空间世界模型就是在这个压缩后的抽象空间里做预测,它不关心每一帧画面长什么样,只关心抽象层面的状态变化。

比如对向车道来了一辆车,隐空间模型不会去精细描绘这辆车的颜色和型号,只会抓住有一辆车正以什么速度、什么方向朝你驶来这样的信息。

隐空间模型的优势体现在两个方面。

一个是计算效率高,由于是在紧凑的特征空间里做预测,会比在像素空间里省力。

还有就是抗干扰能力强,因为跳过了具体的像素画面,雨雾、脏污这些视觉噪声对它的影响微乎其微。

但隐空间模型的问题也很明显。

如果只靠抽象描述来训练,缺少足够的视觉监督信号,模型学到的可能只是空洞的统计规律,并且会丢掉车道线在哪、前车是加速还是减速这类对驾驶至关重要的细节信息。

毕竟纯靠抽象想象画面,终究不如亲眼所见那么真切。

03、比亚迪的混合世界模型做了什么?

像素级模型看得清但怕干扰、算得慢;隐空间模型跑得快、抗干扰但看不清细节。

两条路各有所长,也各有各的问题。

世界模型范式的对比。(a)像素的世界模型;(b)隐空间世界模型;(c)混合世界模型,图片源自:比亚迪论文

比亚迪的HyWorldVLA给出了一个解法,即预训练阶段让两条路结合,实际推理时只用一条。

在预训练阶段,像素级世界模型和隐空间世界模型同时工作。

隐空间的抽象分析可以帮像素级模型稳住方向,即不让雨雾、光照这些外部干扰把画面带偏。

像素级的高精度画面又可以反过来帮隐空间模型校准精度,以确保抽象表征没有丢失关键细节。

两个信号一紧一松、一密一疏,共同将模型训练到既富含信息又不过度敏感。

而到了真正上路推理的时候,模型只使用隐空间模型来做预测。这样既保证了预测的准确性(因为训练阶段已经被像素级模型调教过),又保证了实际运行的效率(因为只用轻量的隐空间模型)。

HyWorldVLA的整体架构,图片源自:比亚迪论文

这套方案在自动驾驶公开测试平台NAVSIM上跑出了亮眼成绩,NAVSIM v1综合得分90.59分,刷新了公开榜单的最好成绩;在指标更全面的NAVSIM v2上也拿到了89.71分。

测试采用的综合指标EPDMS不是简单地比谁看得准,而是综合评估车辆是否会发生碰撞、是否保持在可行驶区域、是否保持安全距离、能否完成驾驶目标、行驶是否平顺舒适。

04、比亚迪做这件事,到底有什么意义?

其实很长一段时间,外界对比亚迪的刻板印象一直是重制造、轻研发。

这篇论文由比亚迪汽车新技术研究院独立完成,证明比亚迪不仅在做AI研发,还具备从0到1的基础模型研发能力。

这篇论文其实也是比亚迪为L3级自动驾驶做的关键技术储备。

就在论文发布前不久,比亚迪推出了自研的4nm高阶智驾芯片璇玑A3,单颗算力约700TOPS。从自研算法到自研芯片,比亚迪正在构建完整的智驾技术闭环。

此外,世界模型一直是自动驾驶的前沿方向,其可以让AI从识别道路走向理解世界。

这也是特斯拉FSD、Waymo、英伟达等顶尖玩家正在探索的方向,比亚迪选择在这个时间点切入,说明它不想在下一阶段的智驾竞赛中掉队。

05、最后的话

先前在智驾最前沿的评论区有人提及了这篇论文,小编也花了些时间学习了这篇论文。

坦白说,这篇论文确实让人对比亚迪刮目相看。

过去提到比亚迪的智能化,大家更多想到的是供应链整合和规模化落地。

但这篇HyWorldVLA至少在技术研发层面,证明了比亚迪有能力站在自动驾驶技术的前沿。

不过这只是一篇论文,还是要冷静看待,论文成果和实际量产之间必然还有很长的路要走。

在仿真测试里拿高分,不等于在真实道路上就能开得好。真实道路的复杂程度和极端场景都不是仿真平台能完全模拟的。

但话说回来,比亚迪手里有一张其他车企没有的王牌,那就是巨大的销量带来的海量真实驾驶数据。

对于自动驾驶大模型来说,数据是训练世界模型最好的燃料,比亚迪的保有量优势一旦被有效激活,将成为它在智驾赛道上的护城河。

这篇HyWorldVLA论文,大概就是比亚迪往技术鱼池里放的一条鱼苗,至于这条鱼能不能长成巨鲸,还是拭目以待吧。

#自动驾驶 #HyWorldVLA #比亚迪

比亚迪

比亚迪

比亚迪是一家致力于“用技术创新,满足人们对美好生活的向往”的高新技术企业。比亚迪成立于1995年2月,经过20多年的高速发展,已在全球设立30多个工业园,实现全球六大洲的战略布局。比亚迪业务布局涵盖电子、汽车、新能源和轨道交通等领域,并在这些领域发挥着举足轻重的作用,从能源的获取、存储,再到应用,全方位构建零排放的新能源整体解决方案, 比亚迪是香港和深圳上市公司,营业额和总市值均超过千亿元。

比亚迪是一家致力于“用技术创新,满足人们对美好生活的向往”的高新技术企业。比亚迪成立于1995年2月,经过20多年的高速发展,已在全球设立30多个工业园,实现全球六大洲的战略布局。比亚迪业务布局涵盖电子、汽车、新能源和轨道交通等领域,并在这些领域发挥着举足轻重的作用,从能源的获取、存储,再到应用,全方位构建零排放的新能源整体解决方案, 比亚迪是香港和深圳上市公司,营业额和总市值均超过千亿元。收起

查看更多

相关推荐

登录即可解锁
  • 海量技术文章
  • 设计资源下载
  • 产业链客户资源
  • 写文章/发需求
立即登录