边缘人工智能，从传感器融合到深度神经网络

AI 在边缘领域的优势现在是显而易见的。在这些领域中，实时响应起到决定性的作用。比如说，在安全敏感型应用中，既要将原始数据传输到云的通信成本降至最低，又要降低功耗、保护隐私并提高对多个边缘节点的可扩展性。对于以上这些要求，我们建议通过边缘设备内的人工智能而不是远程云服务来满足。然而，一个 AI 引擎无法服务我们现在所知的边缘应用范围。家用电器可能只需要识别一组简单的语音命令或食品容器上的图片。更复杂的监控系统或工业机器人系统则可能需要融合图像传感器、麦克风、运动传感器等的多方输入。就高端领域而言，自动或半自动驾驶识别系统需要用到非常复杂的深度神经网络 (DNN)。CEVA SensPro2 和 NeuPro-M 平台恰能满足这些需求。

边缘 AI 市场

自现在起至本世纪末，边缘 AI 处理器芯片市场的年复合增长率预计将达到 20% 左右。这一增长是由智能设备采用率/发展程度不断提高推动的，具体涉及：摄像头、可穿戴设备和家庭自动化领域消费者；安全和自动化程度日益提高的汽车行业；行业监控、机器人、机器/工厂控制和预测性维护。

最有可能在这些领域取得成功的产品自然必须功能十足、性能强大，如此才能满足应用这些产品的认可需求。此类产品必须根据消费者定价和/或在大规模部署时具有成本效益，同时还应该最大限度地减少现有无线基础设施的增量负载。此类产品的软件还必须可以升级，如此才能适应快速发展的 AI 技术领域的新兴解决方案。

传感器融合和 SensPro2

除了最简单的智能边缘设备之外，其他所有设备现在都使用多个传感器。两个或更多传感器的融合信息通常可让智能系统提供准确性度更高的信息或补充信息。例如，在自动平行泊车或自动代客泊车系统中，可结合使用探测可用空间的视觉传感技术/雷达与超声波测距技术，另外也可以结合使用 IMU 输入，进一步细化定位估计结果。SLAM 算法可以对这些功能形成补充，在停车场内导航以便自动代客泊车。

CEVA SensPro2 传感器中枢 DSP 是传感器中枢/融合应用的完美答案。SensPro2 是第二代 CEVA 传感器中枢 DSP，允许图像传感器、麦克风、雷达、飞行时间、IMU 等的多个传感器输入。基于神经网络的软件可在这种 DSP 架构上快速运行。因为这种架构提供整套丰富的硬件支持功能，包括：具有灵活 MAC 操作范围的矢量单元、整数和浮点运算支持、针对应用的 ISA 扩展和全面的非线性指令集。SensPro2 可利用这些功能提供 2 倍的 AI 速度、6 倍的 SLAM 速度、8 倍的雷达速度、10 倍的音频速度（相较于上一代 SensPro 而言）。

在各种消费者应用中，边缘人工智能已通过 SensPro2 部署到 SoC，最近发布的新 Novatek 监控 SoC 版本就是一个示例。

DNN 智能和 NeuPro-M

高端边缘智能需要深度神经网络 (DNN) 支持、高水平的并行性能和带宽优化，以及拥有最新 AI 算法的异构加速器。对于第一种需求而言，自动/半自动驾驶时的可用空间检测是一个不错的应用示例。此检测目的在于沿着公路/高速公路的安全驾驶区域行驶，避开障碍物，避免驶上对向车道、未铺砌的路肩和隔离带。在这种情况下必须迅速响应，因此会将前方道路图像分解为 4 个子帧，对其进行并行处理。之后再在每个子图像上运行可用空间检测，并重新组合以提供完整的结果。对于边缘应用中的此类人工智能而言，NeuPro-M 可支持多达 8 个并行运行的引擎。

大家对精度和性能的期望远不止并行这么简单。如今的网络开发人员希望利用现在 NeuPro-M 中采用硬件加速的专用功能，如矩阵分解、稀疏、Winograd 及混合精度的神经操作，且以上所有功能都可以在每个并行引擎中使用。

NeuPro-M 于 2022 年发布，荣获了“亚洲金选奖”之“金选潜力标杆奖”及“2022 年边缘人工智能与视觉联盟产品奖”之“年度最佳边缘 AI 处理器荣誉奖”。目前已部署在设计中的多个 SoC 中，并预计会在未来几年出现在最终产品中。

面向未来的解决方案

在标准 CPU 或 GPU 上运行的纯软件 AI 解决方案效率过低，功耗又大，不太实用，但在理论上来说又具有一定的吸引力，因为您可以随时更改软件，而无需更改硬件。随着 AI 技术和网络层的发展，能否在获得硬件加速带来的所有性能和功耗优势的同时，保持灵活升级？SensPro2 和 NeuPro-M 能够做到这一点。这些 AI 解决方案的矢量 DSP 基础确保您能够随着市场需求和网络的发展，在软件中对产品实施进行升级。CEVA 的深度神经网络 (CDNN) AI 编译器简化了从标准网络（TensorFlow、PyTorch 等）实施到在特定 SoC 中实施时映射到处理器 IP 的一应事宜。您也可以在此步骤中控制优化，以充分利用特殊加速器（如 NeuPro-M 中的加速器），或添加您在设计中可能需要的、自己的加速器。CEVA CDNN-Invite API 为此类扩展提供支持。

作者：Moshe Sheier, Vice President of Marketing, CEVA