在具身智能的宏大叙事中,NPU(神经网络处理器)定义了机器人的能力上限(IQ),而DSP(数字信号处理器)则赋予其灵活、聪明且实时的反应能力(EQ),是实现物理世界智能交互的坚实技术底座。2026年7月3日,在芯原具身机器人专题技术研讨会上,芯原股份NPU/DSP产品线软件与应用高级总监毛夏飞深入探讨了DSP在机器人感知领域的关键作用以及该公司相关核心技术积累。
毛夏飞指出,尽管将感知、理解、规划与动作融合于一体的VLA(视觉语言动作)模型在理论层面趋近完美,但在实际物理应用中,机器人面临着“感知 - 决策 - 行动”闭环的严苛考验。在毫秒级的时间内完成整个循环,并应对低功耗、散热等物理限制,是当前技术落地面临的巨大挑战。他强调,机器人感知领域存在三大核心需求,而DSP架构正是满足这些需求的理想方案:
- 确定性延时:系统不仅需要低平均延时,更要求每一个环节的响应时间都高度确定,以保证运动控制的可靠性与安全性。高能效比:受限于机器人的功耗与散热能力,算力不能无限堆叠,必须在有限功耗下实现最高效的计算。异构数据处理:除AI推理外,视觉预处理、语音信号增强、SLAM(即时定位与地图构建)后端优化等任务涉及大量矩阵与信号处理运算,不适合全部交由AI处理器完成。
毛夏飞从语音、视觉和运动控制三个维度,详解了DSP的落地实践:
·语音交互:从“听见”到“听懂”的基石
在嘈杂环境、远场及混响等复杂声学场景下,确保机器人听得清、听得懂是极富挑战的课题。DSP在处理波束成型、语音降噪等传统强项算法上具有天然优势,能够精准定位声源并提取清晰语音,为后续的语音识别(SR)和语义理解提供高质量输入,从而保障流畅的人机交互体验。
·视觉交互:AI之外的“加速器”
视觉处理远非仅靠AI。图像格式转换、特征抽取以及SLAM中的后端优化,涉及海量且规则化的矩阵计算,这并非NPU所长。芯原的DSP凭借其专用架构和指令集,可高效承担这些预处理与后处理工作,与NPU形成完美的异构计算组合。
·运动控制(运控):精度与实时性的保障
具身智能的运动控制对处理精度和实时性要求极高。在无法无限提升算力的物理限制下,必须依靠处理器本身的效率。DSP凭借其周期级别的精确指令控制,能够有效规避外部数据延迟,提供高度可控的低延时响应,确保机器人动作的精准与流畅。针对上述需求,芯原推出了第五代DSP的完整产品线及平台化解决方案:
·Nano系列:专注超低功耗语音处理
该系列产品可细分为多个IP,专为语音应用优化。其子系统可集成多通道ZDMA,并可选配NNU(神经网络单元)以支持语音类神经网络加速。在实际客户落地案例中,芯原不仅提供DSP核,还提供包含音频系统、常见外设、算法库及应用Demo在内的平台化方案。实测数据显示,在典型语音交互场景下(1秒有效语音,9秒待机),其平均功耗可低至微瓦级。
·Vision系列与ZSP 5000系列:高性能视觉与融合计算
面向高性能计算场景,ZSP 5000系列支持单精度浮点运算,并且算力从左到右逐档翻倍。为应对日益复杂的算法和高分辨率图像处理需求,芯原设计了灵活的多核架构,支持同构或异构集成。例如,客户已落地采用四核DSP并辅以语音配置的方案。多核间通过专用的硬件化通信模块,可实现核间及与CPU间的高效数据交互。
·AI - CV融合计算与SLAM验证平台
芯原的DSP可独立完成非AI任务,也可与AI/NPU协同工作,例如在同一模型推理中分工合作。针对SLAM应用,芯原建立了专门的验证平台,集成了ZSP 5000系列、NPU(用于场景分析,提升鲁棒性)及Nano系列。其中,CV200负责前端加速,ZSP Core进行后端优化,NPU进行检测分析,共同提升系统的稳定性。在低功耗SLAM场景中,CV200 IP是一个理想选择。
·灵活的扩展性与丰富的软件栈
芯原DSP提供Zturbo扩展接口,允许客户自定义指令集或硬件加速模块,并可通过DSP指令直接控制,实现“紧耦合”或“松耦合”集成,极大提升了灵活性。毛夏飞强调,在软件生态方面,芯原提供了完备的支持。其Nano TC系列软件栈支持两种部署路径:一是通过工具将预训练模型(来自多种框架)直接进行导入、量化并生成代码,实现“零手工编码”部署;二是通过开源框架调用。基础软件库已涵盖106个常用AI算子,并支持INT8、INT16数据类型。此外,芯原还实现了对OpenVX 1.3和OpenCV核心函数库的全面支持,并提供图形化的开发环境,便于性能分析与调试。
毛夏飞表示,在物理AI与具身智能时代,DSP正凭借其确定性的低延时、卓越的能效比、灵活可扩展的架构以及从MCU级别到多核向量处理器的全系列覆盖能力,成为定义机器人“EQ”的关键。NPU决定了机器人能处理多复杂的任务,而DSP则保障了它在现实世界中能否灵活、聪明、稳定地行动——两者相辅相成,共同推动具身智能走向更广泛的商业落地。
276
