1866
尽管关于AIoT（物联网人工智能）的讨论甚嚣尘上，但在MCU中实现AI推理仍是一个难题。据一位市场分析师说，边缘AI“在经济性上受限，就像在物理上受限一样”。这关系到MCU供应商和AIoT OEM的未来。他们愿意在这个游戏中停留多久，投入多少？
领先的MCU供应商NXP推出了其首个自研的NPU。该NPU旨在加速边缘推理，将进入其MCX N系列，即NXP全新的微控制器系列的高端版本。
NXP开发了MCX系列，包括4个系列的MCU器件（分别为N、A、W和L），以解决广泛的网联边缘设备，包括工业和IoT边缘应用。
恩智浦正在推出一个全新的MCU系列，称为MCX
MCU和传感器在嵌入式市场的普及正在形成势头，人们对即将到来的边缘AI时代寄予厚望。每个领先的MCU供应商都在准备抓住这个时机。
MCU有许多限制。正如Yole Intelligence所指出的，“适应这些资源限制是针对MCU的AI应用的一个非常大的挑战”。
归咎于硬件很容易，但这并不是全部。在MCU的功能列表中勾选边缘AI的选项很容易。艰巨的任务是在软件开发、硬件设计和AI处理方面有效地做到这一点，避免在一个小小的芯片中产生大量功耗。
寿命与不断变化
问题的关键在于MCU和AI之间的根本不匹配，MCU要求嵌入式系统的寿命，而AI则不断迭代发展。
NXP的全球AI和ML战略和技术总监Ali Osman Ors说：“在应用方面没有标准，没有商定的边缘AI的‘最佳’方式。换句话说，硬件挑战不在于硬件设计本身，而更多的是这个领域动态的功能。”
Ors表示：“对于工业、医疗或汽车应用，MCU在市场上需部署10-15年或更长时间。但为了采用最新、最先进的技术你不可能更换硬件。”
NXP已经迈出了大胆的一步，开发了可扩展NPU ML加速器架构。
Ors说：“这是NXP的一个IP。市面上作为可授权IP的东西没有满足公司的需要。例如，它没有以我们想要的方式有效地缩小规模，以支持微控制器领域的客户。我们还希望在我们最终将其扩展到其他产品线，甚至扩展到应用处理器领域时，保持一个统一的架构。”
NXP的NPU内部
Ors说：“目标是提供持续的支持，通过提供软件更新将最新的先进技术、模型和ML网络映射到硬件上。”
作为MCU/MPU市场的中坚力量，NXP对其庞大的产品组合感到自豪，这些产品组合包括从应用处理器（i.MX、Layerscape）到RT跨界MCU（i.MX系列）和传统微控制器，现在还包括MCX。当被问及NXP的方法与竞争对手的比较时，Ors说：“我相信我们的产品组合要大得多，范围更广，规模更大。我们在整个产品组合中统一架构和统一软件开发方面也非常具有战略性。在利用这一规模的同时，我们也在努力保持灵活性，并通过软件为客户提供更好的用户体验。”
尽管NXP没有对MCX N以外的神经处理方式发表评论，但Ors预计，在未来，NXP的客户将把他们在MCX N中所学到的东西应用到NXP的跨界RT MCU和应用处理器中，用于不同的插槽和不同的需求。
竞争格局
从各方面来看，尽管存在挑战，但边缘AI浪潮已经开始了。
除了NXP，参与AI-in-MCU竞赛的厂商还包括Renesas、ST和Infineon。这些公司即将发布采用Arm的Cortex-M85、M55或类似AI架构的MCU。他指出，ST已经创建了一个平台，通过STM32Cube-AI将ML用于经典的32位MCU。Infineon已经推出了针对AI加速的Aurix TC4x平台。Infineon继续与Synopsys合作，以适应AI应用。
根据Yole的说法，在MCU中解决边缘AI的更流行的趋势在于算法的发展。ML算法可以使用更小的工具来开发，如TinyML和TensorFlow Lite，使其能够在MCU等受限硬件中开发AI应用。
在CPU上运行ML始终是一种选择。Ors说：“CPU实际上在各种计算方面都非常出色，但它们只是没有成为ML的最有效选择。这包括Cortex-M33，这是设备上非常有能力的主CPU，但这确实是你想运行主要应用的地方。”
NXP声称，其新的NPU是为加速边缘推理而设计的，可以实现ML的吞吐量，比单独的CPU内核快30倍。
Yole指出，一些AI初创公司，如Brainchip、Hailo、Alif和其他公司已经瞄准了AI加速器，其中一些可以用于MCU应用。有些，如Alif，专门针对AIoT MCU。其他的如Brainchip和Hailo整合了一个能够完成控制器任务的控制器单元，而芯片的大部分资源则专门用于AI加速。
一个典型的例子是今年早些时候宣布的NXP与Hailo在汽车领域的合作。该交易将NXP的汽车处理器（包括恩智浦的S32G系列，Layerscape）与Hailo-8相结合，为汽车电子控制单元提供可扩展和高效的DL处理。
这项合作是NXP的汽车部门做出的选择。但在非汽车AI应用中，NXP选择了开发自己的IP。
MCU中的AI边缘应用
NXP的Ors指出，重要的是，MCU领域的边缘AI不像应用处理器那样由视觉应用主导。他说：“利用手机或大型云端语言理解应用的大型数据集或大型研究团队的涓滴效应是有限的。例如，当使用来自振动和电流传感器的预测性维护时，每个部署都是独特的，必须定制。”
这一事实促使NXP采取了多管齐下的方法。NXP将提供三种解决方案。1）“赋能工具”，允许客户处理从传感器信号输入到决策或推理输出的整个pipeline；2）“参考实施、代码示例和培训”；3）“生态系统合作伙伴”，补充NXP的优势，帮助用户更快地进入市场。
总而言之，一个重要的问题迫在眉睫：MCU的成本与边缘AI应用的价值。
Yole表示，MCU的平均售价不到一美元。而这意味着通过大量投资为现有应用增加AI功能而获利的看法，不如利润率高得多的应用有吸引力。这是一个市场挑战。
这一挑战要求消费者和电子产品OEM厂商要能认识到AI在非常低成本的边缘AI应用中所能提供的价值，即使消费者不知道他们的产品使用AI算法。他们可能需要支付稍多的费用来获得这种功能，这在一些基于MCU的应用中是一个很大的障碍。
生命周期的挑战
也许最重要的是理解MCU中的边缘AI，特别是在工业应用中，将是一个非常漫长的过程。永远不要低估生命周期的问题。
Ors强调说，经常被忽视的是“ML模型被部署后的生命周期”。构建和运行ML解决方案是一个迭代的过程。MCU部署的环境可能会随着时间的推移而改变，整个系统的需求也会改变。
在Ors看来，“重新训练和更新一个模型对其整体功效变得很重要，因为把系统从部署中拉出来是不现实的”。
他总结说：“我们认为，在可能的情况下，边缘AI与云服务的混合方法是实现成功和可持续的ML部署的关键之一。”
这并不是说NXP拥有所有的答案。特别是当云连接不是一个选项时，“边缘训练”必须发挥作用。Ors指出：“ML模型训练是一个非常耗费计算资源的过程，而MCU缺乏用于模型（重新）训练步骤的传统计算资源。”
理论上“对半监督和无监督的ML模型的支持可以帮助这些领域和应用，以及监督ML模型的高效再训练方法”。目前仍不清楚所有这些新的ML模型是否已经准备好在黄金时段使用。
为了使MCU中的边缘AI达到市场预期，在支持边缘AI的微控制器之间比较硬件规格不是最重要的。必须要先看看软件的可扩展性、支持工具和MCU供应商对满足MCU中边缘AI的生命周期挑战的承诺。
