CPU并非万能,深度学习为啥更看好GPU、FPGA发挥?

2017-02-17 10:26:36 来源:动点科技
分享到:
标签:

 

深度学习全称深度神经网络,本质上是多层次的人工神经网络算法,即模仿人脑的神经网络,从最基本的单元上模拟了人类大脑的运行机制。近年来,其所取得的前所未有的突破掀起了人工智能新一轮的发展热潮。


最早的神经网络的思想起源于 1943 年的 MCP 人工神经元模型,当时是希望能够用计算机来模拟人的神经元反应的过程,但直到最近,它才真正让人工智能火起来。主要原因在于:算法的突破、数据量的激增和计算机能力/成本的下降。其中计算能力的提升的作为人工智能实现的物理基础,对人工智能发展的意义不言而喻。


本文我们就来分析目前主流的深度学习芯片的优缺点。


CPU 不适合深度学习

深度学习与传统计算模式最大的区别就是不需要编程,它是从输入的大量数据中自发地总结出规律,而传统计算模式更多都需要人为提取所需解决问题的特征或者总结规律来进行编程。也正因为如此,深度学习对计算能力要求非常高,以至于有人将深度学习称之为“暴力计算”。


因此,传统的 CPU 并不适用于深度学习。


从内部结构上来看,CPU 中 70%晶体管都是用来构建 Cache(高速缓冲存储器)和一部分控制单元,负责逻辑运算的部分(ALU 模块)并不多。控制单元等模块的存在都是为了保证指令能够一条接一条的有序执行。


这种通用性结构对于传统的编程计算模式非常适合,但对于并不需要太多的程序指令,却需要海量数据运算的深度学习的计算需求,这种结构就显得有心无力了。


GPU 深度学习主流芯片

与 CPU 少量的逻辑运算单元相比,GPU 整个就是一个庞大的计算矩阵,GPU 具有数以千计的计算核心、可实现 10-100 倍应用吞吐量,而且它还支持对深度学习至关重要的并行计算能力,可以比传统处理器更加快速,大大加快了训练过程。GPU 是目前最普遍采用的深度学习运算单元之一。


目前,谷歌、Facebook、微软、Twitter 和百度等互联网巨头,都在使用 GPU 作为其深度学习载体,让服务器学习海量的照片、视频、声音文档,以及社交媒体上的信息,来改善搜索和自动化照片标记等各种各样的软件功能。而某些汽车制造商也在利用这项技术开发无人驾驶汽车。
不过,由于 GPU 的设计初衷是为了应对图像处理中需要大规模并行计算。因此,根据乐晴智库介绍,其在应用于深度学习算法时有数个方面的局限性:


第一, 应用过程中无法充分发挥并行计算优势。深度学习包含训练和应用两个计算环节,GPU 在深度学习算法训练上非常高效,但在应用时一次性只能对于一张输入图像进行处理, 并行度的优势不能完全发挥。


第二, 硬件结构固定不具备可编程性。深度学习算法还未完全稳定,若深度学习算法发生大的变化,GPU 无法灵活的配置硬件结构。


另外,在能耗上面,虽然 GPU 要好于 CPU,但其能耗仍旧很大。

 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

作者简介
与非网小编
与非网小编

电子行业垂直媒体--与非网小编一枚,愿从海量行业资讯中淘得几粒金沙,与你分享!

继续阅读
四大分布式深度学习框架在GPU上有啥不同表现
四大分布式深度学习框架在GPU上有啥不同表现

随着深度学习应用不断进入商用化,各类框架在服务器端上的部署正在增多,可扩展性正逐渐成为性能的重要指标。香港浸会大学褚晓文团队近日提交的论文对四种可扩展框架进行了横向评测(Caffe-MPI、CNTK、MXNet 与 TensorFlow)。

比特币等数字货币的一把火,能给AMD/NVIDIA带来多少钱?
比特币等数字货币的一把火,能给AMD/NVIDIA带来多少钱?

2017年以来,数字虚拟货币连创新高,以太坊(Ethereum)技术下的以太币(ETH)涨逾30倍,比特币(BTC)也涨逾7倍突破8000美元。全球数字货币市值也从180亿美元增长至逾2300亿美元。8月1日通过比特币硬分叉正式上线的比特币现金(BCH)随着生态化进程加速,迅速成为比特币、以太坊之后市值第三的虚拟数字货币。

AI芯片成业界新风口,中国企业该怎么布局

未来AI芯片格局会如何演变?中国企业如何才能分一杯羹?这些都成为入局者思考的焦点。

25家AI芯片创业公司大汇总,深度学习大爆炸
25家AI芯片创业公司大汇总,深度学习大爆炸

当下,随处可见的摄像头改变了视频流和应用程序的数量,也改变了视觉算法。AI WORLD 2017 世界人工智能大会,硅谷知名企业家、IEEE Fellow Chris Rowen分享了《视觉、创新和深度学习大爆炸》。

“人工智能威胁论”成立?可以从四个方向造福人类
“人工智能威胁论”成立?可以从四个方向造福人类

他坚决反对“人工智能威胁论”,认为人工智能不仅不会给人类造成威胁,它反而预示着一个更加道德、更不具破坏性的人类黎明的到来,并从四个方面论证了自己的这一论点。

更多资讯
德州仪器DLP技术实现下一代增强现实抬头显示系统

德州仪器(TI)近日发布用于车载抬头显示(HUD)系统的DLP®新一代技术。全新的DLP3030-Q1芯片组以及配套的评估模块(EVM),可帮助汽车制造商和一级供应商将高亮度的动态增强现实(AR)内容显示到挡风玻璃上,从而将关键信息呈现于驾驶员的视线范围内。

成为机器学习大神,先让自己掌握这些Linux技巧再说

Linux 因其稳定性获得了不少开发者的青睐,同时也成为大多数服务器的操作系统,对于机器学习开发者来说,使用 Mac/Linux 系统几乎是必须的。然而由于上手难度较大,很多人对其望而却步。本文将介绍一些 Linux 常用指令以帮助你快速上手。

小米产业投资部又添新将,联发科前COO朱尚祖加入
小米产业投资部又添新将,联发科前COO朱尚祖加入

小米公司今天宣布,联发科技原共同营运长(COO)朱尚祖正式加入小米,担任小米产业投资部合伙人。

第8代酷睿处理器产能不足,英特尔成都厂迎来新变化?
第8代酷睿处理器产能不足,英特尔成都厂迎来新变化?

半导体大厂英特尔(Intel)在一个多月前已经推出了桌上型版本的第8代Coffee Lake架构酷睿处理器,性能号称比上一代平均提升30%到40%。

即将结束的独食时代?高通Centriq/AMD Epyc/IBM Power9当真是英特尔服务器芯片对手
即将结束的独食时代?高通Centriq/AMD Epyc/IBM Power9当真是英特尔服务器芯片对手

服务器市场似乎是一场孤独的狂欢,英特尔轻轻松松将90%以上的市场份额握在手中。幸好老对手AMD在沉寂多年后,终于在今年推出号称啥杀手级的“Epyc”服务器芯片;ARM阵营的高通在今年9月已量产了服务器处理器“Centriq”。这个市场才真正呢个有了些“火药味”。

微话题

工作 or 考研?

又到一年招聘季,考研or工作让你实现了怎样的逆袭?……
Moore8直播课堂