高效低耗计算机系统大行其道,传统架构如何展露才华?

2019-07-24 11:24:02 来源: 半导体行业观察
标签:

随着物联网时代的到来,海量的数据蜂拥而至。特别是各种应用终端和边缘侧需要处理的数据越来越多,而且对处理器的稳定性,以及功耗提出了越来越高的要求,这样,传统的计算体系和架构的短板就显得愈加突出,未来,具有更高效率和更低功耗的计算系统一定会大行其道。

 

在这样的背景下,存算一体(Computing In Memory,内存内计算)AI芯片应运而生。目前,不少国际上的领先企业和研究机构正在致力于各种新型存储器的研究,其中一个很大的驱动力就是希望能够实现具有更高效率的存算一体系统,而在这其中,AI的融入也是一大趋势。这些使得计算+存储+AI的融合发展成为了一大方向。

 

不仅是在国际上,最近几年,我国本土的一些企业和科研院所也在致力于这方面的研究工作。就在上周,合肥恒烁半导体科技公司与中国科大团队历时两年共同研发的基于NOR闪存架构的存算一体AI芯片系统演示顺利完成。这是国际领先的超低功耗存算一体的人工智能芯片。据悉,该芯片是一款具有边缘计算和推理能力的AI芯片,能实时检测通过摄像头拍摄的人脸头像并给出计算概率,可广泛应用于森林防火中的人脸识别与救援、心电图的实时监测、人工智能在人脸识别上的硬件解决方案等。

 

这也是我国本土企业在基于NOR闪存架构的存算一体AI芯片领域的又一次突破,实际上,在该领域,恒烁半导体并不是唯一一家,还有其它一些企业也在进行着基于NOR闪存架构的低功耗AI芯片的研究工作。那么,作为一种传统的、非前沿的存储技术,NOR闪存架构有怎样的特点和优势,能够使得这些企业对其投入资源和人力,进行相应的低功耗AI芯片和系统研发呢?

 

存算一体的优势

在谈基于NOR闪存架构AI芯片的特点和优势之前,先来看一下存算一体芯片的优势及其能够解决的主要问题。

 

目前来看,不论是PC还是超算,处理器和存储芯片都是分离的,这就是冯诺依曼50多年前确立的计算架构。随着技术的发展,存储计算分离的架构瓶颈越来越明显。

 

       

 

一般芯片的设计思路是增加大量的并行计算单元,比如上千个AI卷积单元,这样,需要调用的存储资源也在增大,然而,在传统的计算架构当中,存储一直是有限且稀缺的资源,随着运算单元的增加,每个单元能够使用的存储器的带宽和大小将逐渐减小,而随着人工智能时代的到来,这种矛盾显得愈加突出,特别是对于物联网来说,网络的每一层,现有权重和每个AI训练示例的元素都被加载到处理器的寄存器中,然后相乘,并将结果写回到存储器中。这样,性能瓶颈就不是在计算一侧了,而是处理器和存储器阵列之间的带宽。存储器和处理器之间的这种分离是冯·诺依曼架构的定义特征之一,并且存在于几乎所有现代计算系统中。

 

这种“存储墙”的高起正在阻碍着AI产业的发展,可以说,存储器是AI芯片发展的最大瓶颈。

 

在很多AI推理运算中,90%以上的运算资源都消耗在数据搬运的过程中。芯片内部到外部的带宽,以及片上缓存空间限制了运算的效率。因此,在业界和学术界,越来越多的人认为存算一体化是未来的趋势,可以很好地解决“存储墙”问题。

 

如果能够让计算和内存更紧密地结合在一起,甚至是在内存内进行计算,就可以大幅提升数据的传输效率,同时节省更多的电能,因为在内存和计算之间不再需要往返太多次数,一切处理过程都再同一芯片内完成了。

 

分类

为了应对物联网以及存算一体的应用需求,各种新型的、传统的存储技术和器件纷纷登场,想在这些新兴应用方面尽量地施展出自己的才华。

 

过去50年中,SRAM、DRAM和Flash已经成为存储器的主力,这些存储结构在往更小的几何结构微缩的过程中都存在问题,很重要的原因在于它们都是平面结构,而新的存储技术,如基于电阻开关的存储技术是金属层结构,消除了许多制造问题。然而,由于DRAM和Flash技术已经非常成熟,成本又很低。所以,它们在存算一体方面依然有独到的优势,也正在被一些企业所采用

 

目前来看,新型的存储技术主要包括相变存储器(PCM)、铁电存储器(FeRAM)、磁阻RAM(MRAM)、电阻RAM(RRAM或 ReRAM)、自旋转移力矩RAM(STT-RAM)、导电桥RAM(CBRAM),以及氧化物电阻存储器(OxRAM)等。基于这些的存算一体研究或多或少地都在进行着,相应的成果也经常见诸于报端。以上这些都是新技术,目前来看,它们的主要问题就是成本,以及生态系统的完整度,还需要一些发展时间才能成气候。

 

 

而从存储与计算的结合方式来看,存算一体又可以分为两大类:一是在DRAM中植入逻辑计算单元,被称为内存内处理或者近数据计算,这种方式非常适合云端的大数据和神经网络训练等应用;二是存储和计算完全结合在一起,存储器件也即计算单元,如采用基于NOR闪存架构的存算一体AI芯片,其主要特点是能耗低、运算效率高、速度快且成本低,这种形式比较适合边缘侧的神经网络推理等应用。

 

NOR闪存架构的优势

基于NOR闪存架构的存算一体AI芯片,利用NOR Flash的模拟特性,可直接在存储单元内进行全精度矩阵卷积运算(乘加运算)。规避了数据在ALU和存储器之间来回传输的瓶颈,从而使功耗大幅降低、提高了运算效率。

 

其Flash存储单元可以存储神经网络的权重参数,同时还可以完成和此权重相关的乘加法运算,从而将乘加法运算和存储融合到了一个Flash单元里面。例如,100万个Flash单元可以存储100万个权重参数,同时还可以并行完成100万次乘加法运算。

 

在这样的芯片里面,深度学习网络可以被映射到多个Flash阵列,这些Flash阵列不仅可以存储数据,其深度学习网络同时还能完成AI推理,注意,这个过程是不需要额外逻辑计算电路的,一切处理都在这一块芯片内完成。相比于传统的冯诺依曼架构深度学习芯片,这种的运算效率非常高,而且成本低廉,因为省去了DRAM、SRAM以及片上并行计算单元,从而简化了系统设计。

 

目前来看,这种基于NOR闪存架构的存算一体AI芯片,其主要应用领域就是对成本和运算效率(特别是功耗)敏感的应用,如边缘侧的低功耗、低成本语音识别等。而随着人工智能和物联网的发展,它还可以拓展更多的应用场景。

 

结语

无论是新型存储技术,还是以NOR闪存为代表的老牌技术,在发展存算一体AI芯片方面,都需要不断完善生态系统建设,才能使整个产业发展起来。

 

因此,除了存储和计算技术本身之外,行业相关的接口标准跟进特别重要,特别是对于以存储为基础的新型应用来说,更加重要。另外,由于芯片内部集中了越来越多的功能块,片内总线和片内网络系统成为了一个新的课题,目前,这方面的研究和新技术越来越受到业界的重视,新的技术和IP也陆续推出。

 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

继续阅读
AMD 处理器市场崛起之路回顾:三张图表说明一切

与非网9月23日讯,AMD再处理器市场上崛起是有目共睹的,reddit用户ingebor(他已经汇编了我们迄今为止涵盖的所有Mindfactory数据)已经绘制了销售数据。过去五年来,令人难以置信地概述了AMD自2017年以来的崛起。

笔记本选机有门道,为您精选CPU与GPU的黄金组合

打开电商网站的数码频道页面,“迎面扑来”的上百种型号产品,会不会诱发你的选择困难症?的确,在笔记本电脑的选购过程中,产品外观、品牌效应、性能、价格以及细节之处等很多特点,都可能是消费者考量的因素。

华为称条件成熟时会退出服务器市场,国内龙头浪潮今日涨停

与非网9月20日讯,今早,服务器龙头浪潮信息涨停,浪潮软件涨逾4%,中科曙光涨约3%。

龙芯的血骨担当:国产芯再难也要做

与非网9月20日讯,据专业机构预测,今年中国芯片进口量将突破2,000亿美元(约12,185亿元人民币),远超一年石油进口的金额。作为全国芯片需求最为强劲、消耗份额居全国近七成的珠三角,却无一家先进的芯片制造厂。

ARM 和 Intel 等处理器被曝严重安全漏洞,普通人的支付密码等随时存在外泄

与非网9月20日讯,如果说此前的硬件漏洞攻击是打开了房间的防盗门,获取智能设备核心秘钥。然而,那么此次的骑士漏洞攻击则是打开了房间内的保险柜,黑客不需要借助任何外部程序或者链接。

更多资讯
英特尔的7纳米处理器可能还要再等3年
英特尔的7纳米处理器可能还要再等3年

与非网9月23日讯,英特尔10纳米和14纳米产品双线布局似乎还要再持续一段时间,在一份汇总资料中显示,今年除了酷睿i9-9900KS以及Cascade Lake-X旗舰级产品外,英特尔处理器今年的产品更新基本完成。

vivo执行副总裁胡柏山:vivo并没有自研芯片,年底将推出与三星合作研发的5G芯片
vivo执行副总裁胡柏山:vivo并没有自研芯片,年底将推出与三星合作研发的5G芯片

与非网9月23日讯,此前vivo要自研芯片,挖人挖到展锐门口的新闻闹得沸沸扬扬,然而近期vivo执行副总裁胡柏山接受采访时表示,这都是乌龙。

麒麟 990 与麒麟 990 5G 完全不同?消费者们都被华为欺骗了?

与非网9月23日讯,华为在德国柏林正式发布新一代旗舰芯片麒麟990系列,不同于以往本次新品包含了麒麟9905G和麒麟990两款芯片。很多小伙伴看到都是麒麟990处理器容易误认为它们是一款,其实这两款处理器不仅仅是差一个5G那么简单。来看看国内知名手机跑分软件安兔兔是怎么评价它们的:

未上市就遭哄抢,台积电 5nm 真香

与非网9月23日讯,据媒体报道,台积电7nm制程订单目前满载,市场供不应求,甚至会延期交货。包括16nm、12nm等相对较落后制程,也出现满载,真可谓数钱数到手抽筋。

华为贯彻芯片去美化,除了台积电,还有谁受益?
华为贯彻芯片去美化,除了台积电,还有谁受益?

与非网9月23日讯,华为受贸易战影响将芯片去美化,台湾半导体厂商获益, 除了晶圆代工大厂台积电以外,封测厂商京元电也直接受益。