• 正文
  • 相关推荐
申请入驻 产业图谱

边缘端的音频AI:当最小型的设备学会聆听

4小时前
109
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

Tomer Badug,深度学习研究员,Ceva

这是一份介绍设备端音频智能应用场景、设计约束与方案取舍的实用指南,同时也是我们正在撰写的一篇白皮书的抢先预览。

在过去的三篇文章**里,我们极其深入地聚焦于一个问题:利用环境噪声消除技术让语音更清晰,内容从基础原理、经典信号处理工具,一直延伸到深度学习时代。那个系列好比一台显微镜。本文则正好相反,它是一枚广角镜头,纵览如今运行在小型、能源受限设备上的整个音频AI世界,同时也是我们正在撰写的白皮书《边缘端音频AI一览》的预览。 您可以把它看作预告片。

事实表明,噪声消除只是整个更大领域中的一个环节。你的耳机被你的语音唤醒,你的门铃能识别出窗户破碎的声音,你的助听器从嘈杂房间中分离出朋友的说话声,工厂里的传感器能捕捉到轴承的故障征兆,而这一切都无需与云端进行往返通信。让我们一起梳理这一领域:音频AI能在边缘端实现哪些功能,边缘环境为何如此苛刻,以及产品上市前需要权衡哪些因素。

而这个时机并非巧合。到2025年,边缘AI市场规模已经达到约250亿至400亿美元,并且有望在十年内突破1000亿美元。其中,低于1瓦功耗的硬件层级,也就是Ceva的主场,正成为其中增长迅速的一部分。催化剂是生成式AI向设备端的迁移:原本运行在云端的小型语言模型、语音代理和对话助手,正逐渐转移到你手中的设备和耳中的耳机上,而音频是所有这些最自然的交互方式。

在Ceva,这正是我们每天专注的设计领域:帮助各个团队将音频、传感和AI工作负载部署到资源受限的设备上,并在用户体验、功耗效率和产品可靠性之间取得平衡。

首先,我们所说的“边缘”究竟指什么?

“边缘”如今已经成了一个含义宽泛的词。我这里说的并不是搭载强大GPU的笔记本电脑或机柜中的服务器,而是真正处于资源受限端的设备:只有几 KB RAM 的微控制器(MCU)、音频DSP,以及功耗仅需零点几瓦的专用神经处理单元(NPU)。

这本身就是一个覆盖很广的连续范围:

图 1:“边缘”涵盖了整个连续范围。越靠近左侧,每一个KB、每一个微焦耳都必须精打细算,而这种资源约束正是整个问题的核心。

为什么要把音频AI部署到设备端呢?

既然云端既便宜又强大,何必大费周章地把模型压缩到一枚指甲盖大小的芯片上呢?有四个原因,而且大多数实际产品对这四点都非常重视:

延迟。 唤醒词如果要延迟半秒才响应,体验就会很糟糕;而对话音频对延迟有着非常严格的要求: ITU-T G.114标准将端到端单向时延的舒适上限限定在约150毫秒,这意味着留给设备端增强模块自身的时间只有几十毫秒。云端很难稳定地做到这一点。

隐私。 音频数据非常私密:它可以包含您的身份、情绪,甚至有关您健康状况的蛛丝马迹。把音频数据留在设备端处理,原始信号就永远不会离开您的口袋。对于声纹识别和医疗用途来说,这不是一个锦上添花的功能,而是硬性要求。

能耗与成本。 全天候地将音频流发送到服务器,既耗费无线电功耗,也会产生持续的费用。设备端推理能同时避免这两个问题。

可靠性。 一个在Wi-Fi断连时就失聪的安全设备,称不上是安全设备。边缘端在离线状态下依然能继续工作。

把这四点结合起来,就能带来真正影响产品的优势:更长的电池寿命、更精简的物料成本、可作为卖点印在包装上的隐私保护,以及更快的产品上市进程。

耳机正是这四大约束交汇的地方:用户能感知到的延迟、私密到不适合传输的音频数据、以小时为单位的电池容量,以及无法保证始终在线的网络连接。

不断扩展的功能菜单:音频AI在边缘端究竟能做些什么

环境噪声消除(ENC)系列文章只涉及了其中一项任务,而这份白皮书则涵盖了一整套丰富的应用。这些应用可以归为五大类,而您其实已经接触过所有这些应用:耳机中的全天候唤醒词、可穿戴音频设备中的噪声消除、将语音转化为文字的语音识别、守护智能家居安全的说话人识别与玻璃破碎检测、汽车中的意图引擎与离线语音,以及一个新兴的前沿领域——情感感知界面和设备端音乐。图2列出了它们。

图 2:应用版图,分为五大类。贯穿所有这些任务的是同一个不变的主线:每一项任务最初都诞生于云端、跑在大模型上,而现在它们必须在体积小上千倍的硬件上证明自己的价值。

为什么边缘端如此困难:在千字节和毫瓦之内生存

真正有意思的部分来了。一个在基准测试笔记本电脑上表现优异的模型,到了您真正要部署的目标设备上,可能根本无法运行。各种约束层层叠加:

  • 内存和模型体积。 助听器或MCU级别的设备,留给模型加工作缓冲区的总内存预算可能只有几百KB。这直接排除了大多数现成的模型架构。
  • 一个鲜明的例子:Keyword Transformer需要约540万个参数,而广播残差BC-ResNet只需约32万个参数和约8900万次MAC运算,就能在Speech Commands上达到相近的约98%准确率。同样的任务,成本开销却相差一个数量级。
  • 功耗和散热。 “始终开启”意味着每次推理产生的能耗会一直累积。可穿戴设备还不能有发热问题。这两方面的限制都会迫使您去选择刚好够用的最小模型,而不是准确率最高的那一个。
  • 实时处理,流式延迟。 边缘端音频是流,不是文件。模型必须在严格的延迟预算内逐帧实时处理,不能提前获取未来的数据。

真实环境中的鲁棒性:在工厂车间中,故障轴承的声学特征必须从噪声中被识别出来,而实验室中的任何数据集都无法完全还原这样的环境。

然而,它确实能够奏效,而且往往效果惊人。为了更直观地说明这一点:标准MLPerf Tiny关键词检测模型只需约50 KB;而INT8量化可以将模型缩小约4倍(约75%),而准确率损失通常不到1个百分点;说话人验证模型已经被量化到1 MB以下,同时在标准的VoxCeleb1测试中保持等错误率低于2%;非自回归的设备端TTS模型,如FastSpeech 2,达到了接近自然语音的平均意见得分(LJSpeech上约3.8分);更令人惊讶的是,在ISSCC 2024上,CEA-Leti展示了低于一微瓦功耗的关键词唤醒方案(约0.99µW的前端,在10词任务上达到91%的准确率)。边缘端很小,但并不弱。

在边缘端部署音频AI:真正需要权衡的选择

你已经确定了要实现的任务和目标设备。真正需要做出的决定是什么?这套实践方法可以概括为:

1.根据预算选择模型系列,而不是根据排行榜选择。 深度可分离 CNN(DS-CNN)、时间卷积网络(TC-ResNet)和广播残差网络(BC-ResNet)只牺牲少量准确率,就能获得一个数量级的效率提升。从约束条件出发,倒推设计方案。

2.有针对性地进行压缩。 量化(理想情况下应采用量化感知训练,而非简单的训练后量化)、剪枝和知识蒸馏,是我们手中最有力的工具:在我们调研的所有任务中,量化感知训练和知识蒸馏都能在保证性能的同时显著压缩模型尺寸。

3.协同设计模型和硬件。 最好的效果来自软硬件联合优化:在延迟和功耗约束下进行神经架构搜索、根据敏感度指导混合精度量化、在编译器中实现算子融合。已有报告显示,硬件感知的协同设计可实现超过40%的能效提升(部分研究甚至超过50%),而准确率代价很小。

4.评估不能只看准确率。 这是团队最容易忽略的一点,也是白皮书着重强调的一点。PESQ、WER和EER这类指标,并不能告诉你模型能否适配设备,也不能说明电池能坚持多长时间。此外,还需要报告延迟(毫秒/帧)、单次推理能耗(µJ)、内存占用和实时因子;如果条件允许,最好还提供完整的能耗—准确率帕累托曲线。

5.要留意基准测试中存在的缺口。 像MLPerf Tiny、SUPERB和HEAR这样的项目是个不错的开端,但大多数基准测试仍然只强调准确率,而面向音频的多任务边缘端评估体系目前几乎尚未建立。在这套标准建立起来之前,要比较两个“最先进”的边缘模型,远比想象中要困难。

图 3(示意图):在边缘端,您需要选择曲线上某个合适的点,而不是追求最顶端的那个。准确率最高的模型通常超出了功耗预算;真正可部署的模型位于曲线的拐点附近。此为示意图,并非实测数据。

最后这一点对我尤其重要;这正是我们在Edge AI Foundation(前身为tinyML Foundation)的音频AI工作组中致力于解决的问题,而如何统一边缘端性能的报告方式,一直是我们反复讨论的重点。

我们无法外包的环节:隐私、偏见和信任

在设备端运行确实有利于保护隐私,但并非一劳永逸的免检通行证。声纹数据仍需要得到保护:安全隔离区、设备端加密和联邦学习都能提供帮助,但每一项都会消耗计算资源,从而与你的能效预算形成竞争。现有数据集严重偏向英语、普通话以及干净的录音室音频,导致模型在面对其他语言、口音和嘈杂环境时泛化表现不佳,而模型压缩还可能悄无声息地加剧这种偏差。随着语音克隆技术成本不断下降,来源追溯和水印技术已从学术界的趣味研究转变为产品层面的实际要求。负责任的音频AI并不是一个独立的章节;而是贯穿其他所有设计约束的一项要求。

Ceva的切入点

这正是我们所赋能的应用场景。上述这些取舍(准确率与资源占用、延迟与功耗、能力与电池续航之间的平衡)正是我们的边缘音频与AI产品组合所要解决的核心难题。 Ceva-NeuPro-Nano在2026年embedded world上获得了人工智能奖,面向的是嵌入式机器学习和TinyML这一端;Ceva-NeuPro-M则可向上扩展至更重的负载和生成式工作负载,能效高达350 TOPS/W;Ceva-ClearVox实现了我们用三篇文章介绍过的噪声消除效果;Ceva-NeuPro-Studio加上我们的audio DSPs,则负责将训练好的模型高效运行在真实芯片上,这项工作虽不引人注目,却至关重要。这一方案正在获得市场认可:2025年有十家客户获得了NeuPro IP的授权,覆盖消费电子、工业、汽车、基础设施和PC等多个领域。关键不在于某一个具体模块,而在于无论您处于MCU到NPU这一连续谱的哪个位置,都能有合适的工具来匹配。

从波形到芯片:从捕获音频到让模型在设备端高效运行,这整个过程正是我们这一产品组合所围绕的核心。

即将发布:白皮书(以及一个更安静、更智能的边缘世界)

如果本文激发了您的兴趣,这份白皮书将带来更深入的内容:它将逐项介绍唤醒词、语音增强、语音识别、声纹识别、语言理解和语音合成,并深入探讨各项技术背后的数据集、架构、指标、硬件层级和待解决的挑战。

我们最初踏上这段旅程,是为了让嘈杂环境中的单一语音更加清晰。而这段旅程最终将我们带向一个更宏大的目标:打造整整一代能够聆听、理解并响应的设备,在本地完成处理、保护隐私,并将功耗控制在微瓦级。云端让机器学会了聆听。而边缘端正在让它们学会随时随地聆听。

《边缘端音频AI一览》白皮书即将发布。立即预注册,白皮书发布当天即可获取。另外,如果你的团队已经在为电池供电、始终在线或对隐私敏感的产品设计评估音频AI方案,欢迎与Ceva的专家交流,探讨从模型到芯片落地的最佳路径。

Ceva

Ceva

Ceva热忱地为智能边缘带来全新的创新水平。我们的无线通信、感知和边缘AI技术是现今一些先进智能边缘产品的核心。我们拥有更可靠、更高效地连接、感知和推理数据的广泛IP 组合,包括用于蓝牙连接、Wi-Fi、 UWB 和5G 平台 IP,实现无处不在的强大通信;以至可扩展的边缘人工智能 NPU IP、 传感器融合处理器和提升设备智能的嵌入式应用软件。我们的差异化解决方案在极小的硅片尺寸内以超低功耗提供卓越性能。我们的目标简单:为业界提供半导体产品和软件 IP,创建更智能、更安全和更紧密互连的世界。今天,Ceva 正在努力践行这一理念,支持全球超过 190 亿个创新性智能边缘产品,涵盖从人工智能智能手表、物联网设备和可穿戴设备,直到自动驾驶汽车和 5G 移动网络。 Ceva总部位于美国马里兰州罗克维尔,公司遍布世界各地的运营机构为全球客户群提供有力支持。我们的员工包括各专业领域的顶尖专家,能够持续解决最复杂的设计难题,帮助客户将创新的智能边缘产品推向市场。

Ceva热忱地为智能边缘带来全新的创新水平。我们的无线通信、感知和边缘AI技术是现今一些先进智能边缘产品的核心。我们拥有更可靠、更高效地连接、感知和推理数据的广泛IP 组合,包括用于蓝牙连接、Wi-Fi、 UWB 和5G 平台 IP,实现无处不在的强大通信;以至可扩展的边缘人工智能 NPU IP、 传感器融合处理器和提升设备智能的嵌入式应用软件。我们的差异化解决方案在极小的硅片尺寸内以超低功耗提供卓越性能。我们的目标简单:为业界提供半导体产品和软件 IP,创建更智能、更安全和更紧密互连的世界。今天,Ceva 正在努力践行这一理念,支持全球超过 190 亿个创新性智能边缘产品,涵盖从人工智能智能手表、物联网设备和可穿戴设备,直到自动驾驶汽车和 5G 移动网络。 Ceva总部位于美国马里兰州罗克维尔,公司遍布世界各地的运营机构为全球客户群提供有力支持。我们的员工包括各专业领域的顶尖专家,能够持续解决最复杂的设计难题,帮助客户将创新的智能边缘产品推向市场。收起

查看更多

相关推荐