DSP数字信号处理器)与CPU、GPU和FPGA同属于四大主流处理器系列,虽然已经广泛应用于手机、家电、汽车、高铁、工业控制、无人机等诸多领域,但与其他处理器系列相比,明显低调许多,甚至各类控制器、SoC、FPGA正在与其争夺生存空间。与CPU相比,它功能更专一,比FPGA计算效率更高,明明有“一技之长”,为什么一直默默无闻?我国DSP发展现状如何?突破的瓶颈是什么?未来走向如何?与非研究院就此进行深入分析。


国产DSP需求与供应反差巨大

 

DSP适用于系统较低取样速率、低数据率、多条件操作、处理复杂的多算法任务,能够快速实现对信号的采集、变换、滤波、估值、增强、压缩、识别等处理,以得到符合需要的信号形式。在数字化时代背景下,DSP己成为通信、计算机、消费电子等领域的基础器件。

 

数据显示,2020年我国DSP芯片市场规模达到136.92亿元,需求量达到34.15亿颗。而国内DSP芯片产量,到2020年,达到0.91亿颗,虽然相比2015年的0.28亿颗,翻了大约3倍之多,但是仍然与庞大的市场规模和需求量形成巨大反差,体现出了强劲的增长潜力和迫切的增长需要。

 

2015-2020年中国DSP芯片行业市场规模及需求量统计
(来源:智研咨询)

 

2015-2020年我国DSP芯片产量走势图
(来源:智研咨询)

 

数字信号处理器并非只局限于音视频领域,它广泛应用于通信与信息系统、信号与信息处理、自动控制、雷达、军事、航空航天、医疗、家用电器等许多领域。从消费结构来看,通信领域是DSP芯片最大的应用领域,2020年占比为56.1%,其次是消费电子级自动控制领域(13.10%)、军事及航天航空领域(6.01%)及仪表仪器领域等(24.79%)。


国产DSP技术体系和基本概况

 

我国DSP芯片消费量远远高于产量,主要因为该领域一直被德州仪器 (TI)、亚德诺半导体(ADI)、恩智浦(NXP)等国外厂商主导,这些厂商积累了多年的硬件研发经验和完善的软件开发环境,用户生态较为完备。我国发展DSP起步较晚,在军用雷达等领域形成了较高的国产化程度,但是在民用市场亟需突破。

 

与非研究院统计了当前国内主要DSP企业/机构的基本情况,如下:

 


 
国内主要DSP企业/机构概况
(来源:与非研究院,据公开资料和官网信息整理)

 

上述企业/机构为我国DSP芯片的发展做出了贡献。其中,国家专用集成电路设计工程技术研究中心自上世纪九十年代开始,致力于高性能DSP的研究工作。2000 年起,该中心承担了多项国家重大任务,自主研制成功一系列填补我国多项空白的DSP产品。近年来,该中心根据当前DSP领域的算法需求,提出了完全自主知识产权的AppAISArc指令体系结构,于2014年底研制出了支持该体系结构的5核代数运算微处理器(Mathematics Process Unit,MaPU)产品,峰值计算能力为3000亿次/s。该中心还规划陆续推出基于该体系结构、满足不同应用领域的MaPU系列产品,最高达每秒万亿次的计算能力。 

 

中国电科旗下14所与38所分别研发了“华睿”和“魂芯”系列的DSP芯片。2018年4月,中电科38所的魂芯2号A问世,根据官方资料,一秒钟能完成千亿次浮点操作运算,单核性能超过同类芯片4倍。2020年5月,中电科14所牵头研造的华睿2号DSP成功通过“核高基”课题正式验收。芯片主频为1GHz,每秒可完成4000亿次浮点运算。根据规划,华睿3号将具备万亿次运算能力,进一步向高端芯片领域进军。

 

湖南进芯电子也属于国内较早从事DSP研发的企业,已成功研制并量产出了以ADP32、AVP32、ADP16为代表的32位定点运算、32位浮点运算及16位定点运算数字信号处理器产品系列,在工业控制等领域带来了更高效、可靠的应用,并降低了开发使用成本。

 

江苏宏云在MCU、DSP、OFDM通信技术方面都有储备,推出了单核MCU和MCU+DSP双核平台,以及用于移动设备快速充电,电机控制等MCU、DSP SoC芯片,在MCU/DSP架构和指令、移动设备的快速充电管理,以及电力线载波通信等领域都申请了多项发明专利。

 

近两年,在我国大力发展集成电路产业的背景下,一批新的IC设计企业成立,DSP领域目前以青岛本原、中科昊芯为主要代表。青岛本原核心团队源于中科院,致力于提供高端DSP芯片及解决方案,聚焦新一代高性能领域处理芯片(DSA)和人工智能芯片研发。

 

中科昊芯是中科院科技成果转化企业,主要基于开源指令集架构RISC-V打造DSP产品,目标应用于图形图像处理、数字信号处理、工业控制及电机驱动、数字电源、消费电子、白色家电等领域。

 

从以上企业/机构所处地域来看,分布较为均衡,北京4家,江苏2家,上海、山东、安徽、湖南、广东各1家。
 

国内主要DSP企业/机构地域分布情况
(来源:与非研究院)


独立DSP弱化,被集成成为主流方向

 

DSP技术发展大致经历了4个阶段:

 

    第一阶段:单核、单运算部件时代,器件内部有一个专用硬件乘法器,一个有运算能力的地址发生器,体系上主要采用哈佛结构;


    第二阶段:多运算部件阶段,随着DSP应用不断深入,系统对信号处理运算能力要求快速增加,提高DSP器件运算能力成为主要目标,而增加器件内部运算部件数是提高运算能力的一种最直接、有效的手段;


    第三阶段:同构多核阶段,多核处理器允许各个处理器核完成不同任务,增加了处理器应用的灵活性;


    第四阶段:异构多核阶段,随着工艺技术进一步提升,在一个芯片上集成不同处理器核成为可能,例如:CPU侧重通用数据处理、DSP侧重数据实时计算,二者结合则可以更大提升处理效率。

 

历数DSP全球领先厂商TI、ADI的数代产品更新,几乎都经历了这些发展。经过数代产品更迭,DSP目前主要形成两种产品形态:一种是单芯片,另一种是以IP或处理单元的形式集成在SoC中。伴随多核异构趋势的发展,单芯片、独立DSP正在越来越多地转向SoC的一个处理单元。

 

这一点,也可以从上游IP授权商的商业策略上得到验证。全球DSP IP排名第一的授权商CEVA,从最初关注DSP编程,已经转为关注整个生态系统,在为DSP的应用搭建一个更大的平台。目前,CEVA主要有两种服务方式,一种是通过IP授权给IDM、间接服务于OEM,另一种是通过提供开发工具、技术支持和软件直接或者间接为OEM服务。从生态体系、价值供应链上进一步拓展DSP的应用市场。
 

来源:CEVA

 

与非研究院认为,使DSP独立芯片形式弱化的另一个重要推手是FPGA。从器件原理来看,DSP性能依赖于快速地执行大量乘法/累加运算 (MAC) 的能力,单芯片 DSP 具有多个硬件乘法器/累加器单元和附加功能单元。设备所拥有的 MAC 单元越多,执行DSP操作的速度就越快,因为大多数DSP算法都包含多个MAC单元,可以利用许多固有并行性。

 

随着两大FPGA供应商Xilinx(已被AMD收购)、Altera(已被Intel收购)纷纷在FPGA中添加了硬化MAC块之后,FPGA成了DSP的重要竞争对手。第一个集成快速硬件乘法器的 FPGA器件系列是Xilinx Virtex-II FPGA系列。2001年7月,Xilinx 宣布已经出货了价值 100 万美元的 Virtex-II XC2V6000 FPGA,每个 FPGA 都有 144 个硬化的片上 18×18 位乘法器。这也意味着,包含硬件乘法器的FPGA性能已经超过了当时存在的单芯片DSP。

 

Altera随后于 2002 年发布了其第一代具有 36×36 位硬件乘法器的 Stratix FPGA。Stratix FPGA 中的硬件乘法器可拆分为 18×18 位或 9×9 位乘法器,以允许更多的 MAC 运算。在本世纪之初,Xilinx 和 Altera的FPGA系列在可以执行的同步 MAC 操作数量上已经远远超过单芯片 DSP。

 

不过,DSP仍以明显的功耗、成本优势,尤其是在消费领域,继续针对市场需求推出专用的DSP产品。虽然DSP不断失去其作为独立芯片的特性,但事实上已经成为整个半导体产业的驱动力量。DSP内核在SoC中的应用非常普遍,它们虽然没有被看做是DSP芯片,但已经成为了底层的基础技术。


DSP未来趋势及主要增长点

 

高速、高密集的数据处理需求,正在不断挑战着DSP的性能极限。未来,DSP技术将呈现五大发展趋势:

 

    第一,DSP的集成,越来越多的器件需要内嵌DSP功能,实现形态包括:DSP核或硬件DSP单元。

 

    第二,随着实时算法复杂度的增加、对更多字长和更大的动态范围的需求、产品开发和上市时间的缩短,以及浮点算法成本的不断下降,推动DSP定点算法向浮点算法转化。

 

    第三,低功耗。DSP并非运算性能越高越好,而是需要追求性能和功耗的平衡。很多应用场景中,系统的散热很重要,因此并不能一味追求主频高或多核,更多需要权衡低功耗需求。

 

    第四,物联网时代,DSP对于软件IP保护和安全网络连接的需求在不断增长,未来会更加重视安全特性。

 

    第五,由于产品迭代越来越快,下游客户需要管理的代码越来越多,与此同时,客户在系统集成、测试、调试方面也面临较多的挑战,DSP在未来的设计中需考虑的要点将更为多样化。

 

伴随上述技术趋势,以及国内大力发展新基建、人工智能等背景下,DSP有望在以下领域迎来发展:

 

新基建东风下,高端处理器继续寻求突破

 

根据国家发改委对于信息技术基础设施的定义,处理器等高端芯片成为5G等通信网络基础设施、AI等新技术基础设施、智能计算中心等算力基础设施的核心引擎,这里所指的高端芯片就包括DSP。

 

在华为早先发布的800G通信模块产品中,就曾展示了自主研发的DSP芯片。据悉,800G 模块的配套芯片主要是光电子通信芯片,用于完成光电信号的转换,属于通信核心器件。据2020Q4情况来看,云计算厂商资本开支仍保持高位,400G数通光模块持续放量,数通光模块景气度将持续上行;并且,5G 建设仍在继续,电信端光模块整体需求有望重新提振,相关通信模块继续增长,都是高端DSP继续发展的关键领域。

 

万物互联时代,智能控制器的万亿蓝海市场

 

智能控制器是终端的大脑,是物联网边缘侧不可或缺的“神经中枢”。随着下游市场的快速扩张,行业整体景气度较高,市场空间广阔。 2020年,全球/中国智能控制器市场规模分别高达1.5万亿美元/2.37万亿元。并且,在物联网设备连接数爆发、产业政策持续加码以及智能汽车、家用电器等下游应用持续爆发的背景下,智能控制器有望加速兑现增长潜力。

 

所谓智能控制器,是指在仪器、设备、装置、系统中,为完成特定用途而设计实现的计算机控制单元,通常以MCU或DSP为核心,经电子加工工艺制造而形成的电子部件。例如:日常使用的电钻、电锯、切割机、割草机等电动工具,以及电视机、洗衣机、冰箱、空调等家电的控制门阀,还有工业设备以及智能建筑对照明回路的调光设置等等,都需要智能控制器的关键控制,使得这些设备更加安全、高效地运作。

 

随着控制器智能化升级不断深入,传统产品逐渐被智能化、网联化的新产品取代,智能控制器的技术复杂度提升、功能不断丰富;同时,下游产品更新换代速度的加快,也在推动对智能控制器多样化功能的需求。与非研究院认为,反映到上游核心芯片供应商来说,需要具备较强的产品更新和技术升级能力,来满足下游应用需求,以更好地把握智能控制器“量价齐升”的机遇以及格局变迁红利。

 

顺应AI潮流,抓住智能视觉机遇

 

DSP在智能视觉领域一个突出的增长点在于视频结构化需求。与非研究院认为,传统的被动监控,逐步将由具有智能视频分析(视频移动探测、跟踪,人的面像识别,人的步态识别,人与物的异常行为及非法滞留的识别,车牌识别等)等功能的主动监控所替代,这样,根据不同监控场景的需要,把后台视频分析嵌入所需摄像机的DSP中,不仅能减少项目的工程量和节省费用,也能取代监控任务中人的大部分工作。这是智能监控对DSP技术发展的新需要。

 

例如,全球最大DSP IP授权商CEVA已经推出了基于深度神经网络推理硬件引擎和可编程矢量DSP的AI处理器IP,以用于前端设备的深度学习需要,该方案在功耗、性能、灵活性方面都有一定的优势。

 

瑞芯微的RK1108 IoT开发平台,就内嵌了CEVA XM4视觉处理器DSP以及瑞芯微的图像算法技术,可以使汽车、安防监控、家用辅助机器人、运动相机、无人机等终端设备具备较高智能视觉能力。

 

目前,多数厂商都对DSP内部算法进行了多元升级,提升其性能、清晰度、色彩、低照度等方面,使现图像效果更为精细。以往的智能摄像机主要是提高图像质量型,而智能摄像机将具备更加强大的图像处理识别能力和智能因素,为用户提供更多高级的视频分析功能,提高视频监控系统的能力,并使视频资源发挥更大的作用,这些都给DSP下一步的升级指明了方向。

 

结语

 

我国发展DSP处理器主要有两大制约因素:一是知识产权。任何处理器都需要指令集,知识产权是绕不过去的核心问题。巨头们的DSP指令集都各不相同,并且不对外授权,因此国产DSP除了要定义自己的指令集,还要构建一整套工具链和生态。二是构建软硬协同的应用生态。在市场迭代加快、应用需求迅速变化的今天,吸引更多开发者、并发展更多客户,是国产DSP的一个更大挑战,需要通过不断的积累、合作和努力去推动。

 

2020年8月国务院印发的《新时期促进集成电路产业和软件产业高质量发展的若干政策》提出,中国芯片自给率要在2025年达到70%。加快高端芯片的自主研发与国产替代愈发迫切,重要性与日俱增,这些都是摆在国产DSP面前不同于以往的新需求和新挑战。

 

不过,新基建、智能控制、AI应用等领域都是国产DSP实现高端突破的切入点。这些市场不仅需求广阔,对于实现自主可控的迫切性也更高。一旦在关键行业实现突破,就会形成产业带动效应,加速国产DSP向更多市场领域推广和应用。

 

在今年的缺芯浪潮中,国内一些用户都在积极寻找国产替代方案。DSP立足于比较成熟的制造和封装工艺,在市场需求倒逼之下,有望迎来新的增长。综上,与非研究院认为,默默无闻的国产DSP有望在时代和市场多重需求和红利之下,迎来新的发展拐点,进一步向高端领域寻求突破。