传感器融合将会有怎样变化？

随着内燃机被电动车取代，机械系统传感器将被众多的电子传感器取代，以实现高效的操作和不同程度的自动驾驶。其中一些新的传感器将单独运行，但许多重要的传感器需要与其他传感器融合，以使其价值最大化。

目前还不清楚的是，这种传感器的融合将在什么位置发生，或者究竟如何对数据进行组合、分类和优先处理。

Flex Logix的IP销售和营销副总裁Andy Jaros说：“很明显，现在汽车有太多的传感器数据，却没有足够的处理能力，传感器的融合将会发生。但如何发生，仍在不断发展，并取决于每款车型系统设计者的决定。”

摄像头、雷达和激光雷达等传感器的数据流可以以多种方式组合，以提供新的或更可靠的信息。这种处理发生的位置有助于告知网络架构，但它也影响AI将如何对数据进行处理。

Xilinx汽车部高级主管Willard Tu说：“预计原始数据将与摄像头或其他传感器融合，然后进入感知引擎，从而可能产生更好的结果。”

关于如何实现，没有普遍的共识，却有很多意见。Synopsys的高级产品营销经理John Swanson说：“老实说，我认为现在这都有点宗教色彩了。”

传感器融合的基础

自从10年前左右电子传感器大规模出现以来，传感器融合一直很流行。人们的想法是，通过融合几个不完美的传感器，可以得到一个更好的结果。一种看法是，一个传感器可以弥补另一个传感器的弱点。例如，来自加速计、陀螺仪和磁力计的数据结合起来，可以提供更好的位置和导航信息。

Rambus的安全技术产品经理Thierry Kouthon说：“传感器融合的目的是让汽车拥有像人类一样感知，因为人有视觉、听觉和嗅觉等感知能力。车辆没有这些，所以我们必须用具有同样精度的东西来代替它。”

目前大部分重点是视觉相关的传感器：摄像头、雷达和激光雷达。它们远不是车辆中唯一的传感器，但性能相关的传感器（检测车辆状态的传感器）更有可能独立运作。

这些监测器可能会进入电子装置本身，尽管它们与内燃机所需的监测器完全不同。proteanTecs的汽车总经理Gal Carmel指出：“在内燃机中，至少有15个外部监控器来监控发动机本身，但在电动车中，是电池管理系统。因此，你看到的趋势基本上是把所有这些监测器放在电子装置内。”

视觉传感器要复杂得多，它们必须处理各种情况（不同的光线、天气、各种感兴趣的物体），意味着每个传感器都有其优缺点。我们的想法是，通过将它们放在一起使用，就可以覆盖所有的情况。

图1：使用传感器融合的场景理解和导航（来源：西门子）

原则上，传感器融合可以有几种不同的方式。一种是，所有传感器的所有输出在不同的情况下以不同的方式进行组合。另一种，系统主要依靠一个传感器，如摄像头，除非在某种情况下摄像头数据的质量不佳（如光线不足）。然后，其他传感器选项作为冗余，在必要时介入。

Carmel说：“如果你看一下所有这些传感器，是的，它们提供某种重叠或冗余，但它们也提供不同的能力。”

其他数据也可能被融合进来，比如GPS和地图数据。车辆的位置可能是由GPS与视野中识别的地标和车道标记融合确定的，但它可以与地图数据进行交叉检验，确保计算出来的位置是合理的。

Rambus的Kouthon说：“这也可以一直延伸到V2X，意味着像信号灯和铁路交叉口这样的基础设施、其他车辆等也可以与你沟通。”

因此，有许多方法可以做融合，而融合的质量可以成为一个差异化的因素。

是否需要所有的传感器？当然，每个传感器都代表着成本，较少的传感器就意味着成本更低。虽然目前有三个主要的视觉传感器，但对于这三个传感器是否都能存续，人们意见不一。从三个传感器减少到两个传感器的能力具体取决于传感器融合和AI的质量。

Infineon产品营销总监Vikram Patel说：“当有足够的数据且AI也足够智能时，这些传感器中的一个就会被淘汰。如果这些车厂可以只采用雷达和摄像头，我想他们会的。”

当然，激光雷达公司的看法是不同的。Patel说：“那些人认为，可以只用激光雷达，也许还有雷达，或者更便宜的雷达，而不用摄像头。”

传感器融合的最高级别目标是利用尽可能好的数据来做决定。这对于那些需要做出关键决策的ADAS或L4/L5自动驾驶系统至关重要。决策的质量是关键，这具体意味着取决于在车辆中的位置。

在局部层面，例如，在车辆的一角，这可能意味着决定要看到哪些物体。对于一个侧向摄像头，可能意味着识别潜在的行人或标志。在车辆前方，摄像头可能需要看得更远，并计算出接近的速度。

在全局层面，这必须满足ADAS和自动驾驶的需要。这时，来自车辆周围的输入融合起来，以创建一个完整的车辆环境图。Carmel说：“所有的测量、行人、物体检测、对地标的理解、车道标记最终得出一个简单的碰撞时间。”

三种处理方式

做好这一点需要三种不同的计算，可能很容易混淆。首先是视觉数据的简单处理。那是基本的图像处理工作，如颜色转换、去噪和数据规范化，所有这些都是为了提高下游计算的数据质量。

Infineon的Patel说：“我接触的每个客户都谈到了如何将原始ADC或FFT数据转换为更智能或更清洁的数据。噪声已经被过滤掉了，只有峰值被击中，然后你把它移到你使用的任何管道中。”

接下来的两个问题可能在某些程度上是交织在一起的。融合结合了来自不同来源的数据，而机器学习（ML）使图像有意义。严格来说，传感器融合不是ML，而ML也不是传感器融合。但数据可以在提交给ML引擎之前融合，或者ML可以在融合前用于单个数据流，然后ML的结果可以被融合在一起。

融合架构还必须能够处理车辆外产生的数据。Siemens EDA的自动驾驶和ADAS高级主管David Fritz说：“智能城市基础设施有一个（与汽车传感器融合）类似的问题。一边是检测物体并对其进行分类。我如何将这些信息以一种易于使用的方式输入车辆？如果他们发送原始数据，他们所占用的5G带宽将是惊人的。想想纽约市的1万个交叉路口，所有的数据流都是同时传输。这将会淹没整个系统。根本行不通。”

他继续说：“假设他们想出了一些压缩的方法来做到这一点，那么车辆本身将不得不增加计算能力来解压数据。”

让外部源传输车辆可以本机工作的对象元数据，将简化这种数据融合。

图2：左边是传感器数据直接送到中央处理器的情况，要么完全是原始数据，要么经过一些小的数据清洗。它可能通过单一的连接到zonal控制器，或直接到中央处理器。在右边，传感器数据在zone内进行本地分类，元数据被发送到中央处理器。（来源：Bryon Moyer）

如果这成为解决的方式，那么所有这些对象共享将需要一些元数据的标准化。Fritz说：“我们没有注意到整个行业有任何标准化的动向，尽管这是不可避免的。它极有可能由一个既定的标准来推动，即谁先走一步，谁就拥有最多的市场份额。”

然而，这并不是一个需要解决的大问题。他补充说：“实际上你必须要有标准化的元数据的数量是有限的。而其中每一项的数据量都很小。”

在哪里融合？

那么，考虑到所有这些计算工作，它将在车辆的什么地方发生？这是推动汽车架构设计的考虑因素之一。所谓的zonal架构似乎已成为首选方法，尽管并非所有公司都同意。

Cadence汽车解决方案总监Robert Schweiger说：“下一代架构是zonal架构，在汽车的每角，都会有一个zonal控制器，负责处理安装在该物理区域某处的传感器。”

这个想法是，在汽车的有限部分，比如说左前方，有相当多的工作由控制器完成。然后，结果可以被传递到中央处理器，在那里，局部的部分可以被组装成一个全局视图。

Patel说：“我们看到zonal架构的出现仅仅是因为太复杂。在zonal方案中，管理和移动数据更容易。”

围绕这个问题的讨论往往集中在原始数据与处理过的数据上，但这并不是那么简单的。Patel提醒说：“原始数据这个词会导致很多混乱，因为不同人对原始数据的定义是不同的。它不纯粹是你今天看到的完全处理过的对象数据。但你会看到部分处理完成后，结果被送入以太网管道。”

其他人也同意。Tu指出：“今天，大多数的传感器融合是面向对象的，而不是原始的。面向对象的方法对性能要求较低。原始融合需要更复杂的处理，而且技术很新颖。”

Zonal方法通过模块化和可扩展的方式分配工作，简化了系统。例如，一辆低端车可能有两个zone，而高端车可能有六个或更多。将zonal控制器作为一个公共元素，将使控制器的数量更有可能增加，而成本也需要得到控制。

Synopsys的Swanson说：“这可能是中间地带出现的地方。所以在zonal架构中，你做了一些抽象化的工作，把它交给中央处理单元。”

少数OEM，特别是新造车势力，可能会选择一种所有事情都集中完成的架构。但至少到目前为止，这些车厂都只是专注于高端市场。

Patel说：“如果我是Tesla，我主要生产高端汽车，我并不真正关心如何为低成本汽车做调整。通用和大众他们会关心。”

他不是唯一看到这种分裂的人。Kouthon说：“像BMW、Daimler和Ford这样的传统车厂代表着一种趋势。还有一种新的趋势，比如Aptiv、Tesla、Waymo，他们的看法有很大的不同。”

例如，Tesla使用一个强大的中央处理单元。Kouthon说：“该芯片接收所有的摄像头、超声波和雷达信号，并对它们进行集中处理。他们的理由是，我们将在中央处理单元和传感器之间的布线层面提供冗余，减少故障的几率。”

这种布线冗余反映了他们在车内数据传输和向电子装置供电方面做了专门的努力。通过使用环形架构，这种冗余可以不增加网络中的布线。

当然，可靠性对汽车来说是个大问题。Swanson指出：“如果你只使用一个中央处理器，你就会把大量的可靠性放在一台计算机上。”

他接着说：“也可以说，并非所有的决定都需要集中作出。可能有很多决定可以在本地做。你不需要超级计算机来控制挡风玻璃雨刷器的频率。”

Zone里面该包含哪些东西？

考虑到zonal的方式，我们现在可以解决在哪里做什么的问题了，尽管在供应链中可能会有一些不同利益带来的拉扯问题。

例如，摄像头厂商可能希望自己进行物体分类，然后提供对象元数据来实现差异化。至少，他们可以在ML前和融合前进行大量的图像处理。

Zonal控制器可以实现传感器本身没有执行的任何本地处理。可能是信号清洗，可能是本地ML，也可能是本地传感器融合。这一决定的一个重要驱动因素是用于移动数据的带宽。在zone内进行的任何处理都会自然地压缩原始数据。Zone可以发送对象元数据，而不是将原始摄像头数据送到中央处理器。

Zonal控制器可以对其视野内的对象进行初步分类。Cadence的Schweiger说：“Zonal控制器将对来自这些传感器的数据进行预处理，并向中央计算单元发送更高级别的对象数据。你可以在zonal控制器中进行预融合（即早期融合），然后在中央计算机中进行所有四个zonla控制器的最终融合。预融合也可以减少数据量。”

这与决定哪些网络将被用来传输所有这些数据密切相关。Simens与一家OEM做了一些工作，模拟了不同的设置。

Fritz说：“我们做了三个模型。在第一个模型中，我们通过汽车以太网将原始传感器数据传送到中央处理器。中央处理器完成所有的传感器融合、物体检测、分类和决策。第二个方法是边缘做一些传感器的计算，这可以将网络带宽减少约40%。”

在这个模型中，Simens将三维点云从边缘发送到中央处理器。Fritz说：“第三个选择是在靠近传感器的边缘做所有事。然后我们所要做的就是传递物体的元数据，位置、分类、运动方向，诸如此类。我们看到，第一种情况需要10Gbps以上的速度来传输所有的原始传感器数据，这远远超过了目前以太网最大的1Gbps的速度。只有后两种情况是可行的。我们倾向于物体融合，而不是任何种类的三维点云。”

这表明有相当多的工作可以在zone做。但具体多少呢？Zonal控制器的一个重要考虑因素是成本，这可能会限制以可接受的价格包含重型ML硬件数量。这将是分配工作的重要因素。

Schweiger提醒说：“从经济角度来看，你不能把最大的AI性能放到zonal控制器中，因为芯片面积会太大。所以这意味着你需要有混合使用。”

也就是说，处理方式的划分可能仍然是专有的，因为OEM试图在zonal和中央找到传感器融合和ML的最佳组合。Schweiger指出：“他们如何在车辆中分配某些任务可能是OEM的秘密武器。”

或者简单地说，没有一个方式适合所有情况。Cadence的设计IP营销总监Tom Wong补充说：“这完全取决于车厂和他们的理念。他们在中央拥有的计算资源以及他们愿意接受的能耗。”

一个暂时的问题？

尽管如此，仍存在着一种顽固的信念，即在没有任何限制的情况下，将所有的原始数据拿到中央处理器上计算就能做出最好的决定。通过压缩初始的原始数据，所有的预处理都牺牲一些信息以减少带宽。这可能不是最理想的，但现在已经足够好了，特别是考虑到车辆暂时会受到带宽的限制。

在这种观点下，将zone用于传感器融合和ML将是一个过渡性的东西，直到我们能够更有效地将所有的数据带到中央。Schweiger说：“现在，各公司仍在开发非常智能的传感器模块。但以后，这将发生变化，并将转向中央计算单元。”

这将在什么时候发生人们还都只是在猜测，因为即使我们在设计更快的网络，但同时也在增加更多的数据。这表明在未来很长一段时间内，zone可能仍然会承载一些这种基础计算。

然而，如果这种转变真的发生，也并不一定意味着zonal架构的终结。许多与传感器融合或ML无关的任务仍然可以在本地执行，而zonal架构提供了一种高效和方便的方式。

Schweiger说：“也许有些东西不需要进行数据融合。你只需对一些东西进行预处理，比如雷达的波束形成。对于这种传感器来说，这是一件独立的事情，而且它并没有驱动决策。”

因此，尽管OEM试图在zone和中央之间提供传感器融合和ML计算的最佳组合，但随着时间的推移，它将迁移到中央。但这势必会引起车厂和摄像头厂商之间的拉扯，对于摄像头公司来说，这将不利于他们在摄像头中进行物体分类。

Schweiger指出：“一旦OEM解决了所有的问题，一切都将更具可扩展性，更容易维护。它可以有一个更干净的软件架构，因为你不再需要刷新100个ECU了。”

Kouthon表示赞同。他说：“通过一个网络，你把所有的东西都带到中央处理器上，这样做OTA就容易多了，因为你每次只需要更新几样东西。”

目前，不同的OEM可能会在不同的地方划定zone和中央之间的界限。灵活性是很重要的，无论是在软件还是在可编程的硬件方面。Flex Logix的Jaros说：“我们已经听到了许多围绕传感器融合的争论。我们认为答案是使用eFPGAs，让系统设计者拥有一个支持两种情况的芯片，即在传感器附近或在中央处理单元中完成融合。”

但考虑到车辆的设计方式，这可能是一个缓慢的过程。Fritz说：“你将会在2026年左右看到市面上有这样的解决方案。每个人都需要密切关注事态的发展，并准备在必要时做出调整。”

[参考文章]

Competing Auto Sensor Fusion Approaches — Bryon Moyer