想从事深度学习工作的进来看,经典面试问题帮你整理好了

2017-09-06 14:53:45 来源:互联网
分享到:
标签:

 

更新几个面试被问到或者联想出来的问题,后面有时间回答

SGD 中 S(stochastic)代表什么
个人理解差不多就是Full-Batch和Mini-Batch
监督学习/迁移学习/半监督学习/弱监督学习/非监督学习?

笔记主要问题来自以下两个问题,后续会加上我自己面试过程中遇到的问题。
深度学习相关的职位面试时一般会问什么?会问一些传统的机器学习算法吗?

如果你是面试官,你怎么去判断一个面试者的深度学习水平?
以下问题来自@Naiyan Wang

CNN最成功的应用是在CV,那为什么NLP和Speech的很多问题也可以用CNN解出来?为什么AlphaGo里也用了CNN?这几个不相关的问题的相似性在哪里?CNN通过什么手段抓住了这个共性?


Deep Learning -Yann LeCun, Yoshua Bengio & Geoffrey Hinton


Learn TensorFlow and deep learning, without a Ph.D.


The Unreasonable Effectiveness of Deep Learning -LeCun 16 NIPS Keynote


以上几个不相关问题的相关性在于,都存在局部与整体的关系,由低层次的特征经过组合,组成高层次的特征,并且得到不同特征之间的空间相关性。如下图:低层次的直线/曲线等特征,组合成为不同的形状,最后得到汽车的表示。

 


CNN抓住此共性的手段主要有四个:局部连接/权值共享/池化操作/多层次结构。


局部连接使网络可以提取数据的局部特征;权值共享大大降低了网络的训练难度,一个Filter只提取一个特征,在整个图片(或者语音/文本) 中进行卷积;池化操作与多层次结构一起,实现了数据的降维,将低层次的局部特征组合成为较高层次的特征,从而对整个图片进行表示。如下图:

 


上图中,如果每一个点的处理使用相同的Filter,则为全卷积,如果使用不同的Filter,则为Local-Conv。


为什么很多做人脸的Paper会最后加入一个Local Connected Conv?


DeepFace: Closing the Gap to Human-Level Performance in Face Verification
以FaceBook DeepFace 为例:

 


DeepFace 先进行了两次全卷积+一次池化,提取了低层次的边缘/纹理等特征。


后接了3个Local-Conv层,这里是用Local-Conv的原因是,人脸在不同的区域存在不同的特征(眼睛/鼻子/嘴的分布位置相对固定),当不存在全局的局部特征分布时,Local-Conv更适合特征的提取。


以下问题来自@抽象猴

什麽样的资料集不适合用深度学习?
数据集太小,数据样本不足时,深度学习相对其它机器学习算法,没有明显优势。


数据集没有局部相关特性,目前深度学习表现比较好的领域主要是图像/语音/自然语言处理等领域,这些领域的一个共性是局部相关性。图像中像素组成物体,语音信号中音位组合成单词,文本数据中单词组合成句子,这些特征元素的组合一旦被打乱,表示的含义同时也被改变。对于没有这样的局部相关性的数据集,不适于使用深度学习算法进行处理。举个例子:预测一个人的健康状况,相关的参数会有年龄、职业、收入、家庭状况等各种元素,将这些元素打乱,并不会影响相关的结果。


对所有优化问题来说, 有没有可能找到比現在已知算法更好的算法?
机器学习-周志华


没有免费的午餐定理:

 


对于训练样本(黑点),不同的算法A/B在不同的测试样本(白点)中有不同的表现,这表示:对于一个学习算法A,若它在某些问题上比学习算法 B更好,则必然存在一些问题,在那里B比A好。


也就是说:对于所有问题,无论学习算法A多聪明,学习算法 B多笨拙,它们的期望性能相同。


但是:没有免费午餐定力假设所有问题出现几率相同,实际应用中,不同的场景,会有不同的问题分布,所以,在优化算法时,针对具体问题进行分析,是算法优化的核心所在。


用贝叶斯机率说明Dropout的原理


Dropout as a Bayesian Approximation: Insights and Applications

 

 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

继续阅读
成为机器学习大神,先让自己掌握这些Linux技巧再说

Linux 因其稳定性获得了不少开发者的青睐,同时也成为大多数服务器的操作系统,对于机器学习开发者来说,使用 Mac/Linux 系统几乎是必须的。然而由于上手难度较大,很多人对其望而却步。本文将介绍一些 Linux 常用指令以帮助你快速上手。

四大分布式深度学习框架在GPU上有啥不同表现
四大分布式深度学习框架在GPU上有啥不同表现

随着深度学习应用不断进入商用化,各类框架在服务器端上的部署正在增多,可扩展性正逐渐成为性能的重要指标。香港浸会大学褚晓文团队近日提交的论文对四种可扩展框架进行了横向评测(Caffe-MPI、CNTK、MXNet 与 TensorFlow)。

25家AI芯片创业公司大汇总,深度学习大爆炸
25家AI芯片创业公司大汇总,深度学习大爆炸

当下,随处可见的摄像头改变了视频流和应用程序的数量,也改变了视觉算法。AI WORLD 2017 世界人工智能大会,硅谷知名企业家、IEEE Fellow Chris Rowen分享了《视觉、创新和深度学习大爆炸》。

“人工智能威胁论”成立?可以从四个方向造福人类
“人工智能威胁论”成立?可以从四个方向造福人类

他坚决反对“人工智能威胁论”,认为人工智能不仅不会给人类造成威胁,它反而预示着一个更加道德、更不具破坏性的人类黎明的到来,并从四个方面论证了自己的这一论点。

决战人工智能,英特尔除了至强处理器还有啥?
决战人工智能,英特尔除了至强处理器还有啥?

“每家企业都需要人工智能战略,否则就会落后于时代,AI战略甚至决定企业的未来胜负”,英特尔CEO科再奇如此表示。

更多资讯
高交会最强“音”,“造物者”决战硬件创新

11月20日,助力高科技盛会,“寻找造物者—2017云创造物智能产品创意大赛”总决赛在深圳展览中心隆重举行。大赛是由云创造物主办,云创工场、云创硬见、电子圈、机智云、中电港、安创空间、合创资本和金百泽科技等数十家单位联合承办。

富士康曝非法加班,iPhone X高科技产品背后是中国式无奈?
富士康曝非法加班,iPhone X高科技产品背后是中国式无奈?

今天早上英国《金融时报》发表了一篇题为“富士康郑州工厂非法使用学生加班组装iPhone X”的文章,文中指出:苹果(Apple)在亚洲的主要供应商雇用学生非法加班组装iPhone X。厂家在遭遇生产延迟之后正竭力赶上需求。

比特币暴涨背后,其实是个“比傻”游戏

前后历时八年,价格从几美分涨到了近5000美元,比特币创造出无数“财富神话”。

乐视员工持股被清零,贾跃亭为何频频失信

“我的100万股被清零了,老贾(贾跃亭)太坑了!”一位乐视致新(乐视网子公司)前高管对记者抱怨,自己的乐视致新股权打了水漂。

京东方A一跃成为A股市场大明星,市值飙升的背后

京东方A昨日放量大涨6.38%,股价再度逼近前高,成交量放出近日天量,成交金额达167亿元。但与此同时,数据显示,上周京东方A资金流出超34亿元,居个股资金流出额首位,7.67%的换手率也达到近日新高,或暗示资金在当前位置产生分歧。

微话题

工作 or 考研?

又到一年招聘季,考研or工作让你实现了怎样的逆袭?……
Moore8直播课堂