想从事深度学习工作的进来看,经典面试问题帮你整理好了

2017-09-06 14:53:45 来源:互联网
分享到:
标签:

 

更新几个面试被问到或者联想出来的问题,后面有时间回答

SGD 中 S(stochastic)代表什么
个人理解差不多就是Full-Batch和Mini-Batch
监督学习/迁移学习/半监督学习/弱监督学习/非监督学习?

笔记主要问题来自以下两个问题,后续会加上我自己面试过程中遇到的问题。
深度学习相关的职位面试时一般会问什么?会问一些传统的机器学习算法吗?

如果你是面试官,你怎么去判断一个面试者的深度学习水平?
以下问题来自@Naiyan Wang

CNN最成功的应用是在CV,那为什么NLP和Speech的很多问题也可以用CNN解出来?为什么AlphaGo里也用了CNN?这几个不相关的问题的相似性在哪里?CNN通过什么手段抓住了这个共性?


Deep Learning -Yann LeCun, Yoshua Bengio & Geoffrey Hinton


Learn TensorFlow and deep learning, without a Ph.D.


The Unreasonable Effectiveness of Deep Learning -LeCun 16 NIPS Keynote


以上几个不相关问题的相关性在于,都存在局部与整体的关系,由低层次的特征经过组合,组成高层次的特征,并且得到不同特征之间的空间相关性。如下图:低层次的直线/曲线等特征,组合成为不同的形状,最后得到汽车的表示。

 


CNN抓住此共性的手段主要有四个:局部连接/权值共享/池化操作/多层次结构。


局部连接使网络可以提取数据的局部特征;权值共享大大降低了网络的训练难度,一个Filter只提取一个特征,在整个图片(或者语音/文本) 中进行卷积;池化操作与多层次结构一起,实现了数据的降维,将低层次的局部特征组合成为较高层次的特征,从而对整个图片进行表示。如下图:

 


上图中,如果每一个点的处理使用相同的Filter,则为全卷积,如果使用不同的Filter,则为Local-Conv。


为什么很多做人脸的Paper会最后加入一个Local Connected Conv?


DeepFace: Closing the Gap to Human-Level Performance in Face Verification
以FaceBook DeepFace 为例:

 


DeepFace 先进行了两次全卷积+一次池化,提取了低层次的边缘/纹理等特征。


后接了3个Local-Conv层,这里是用Local-Conv的原因是,人脸在不同的区域存在不同的特征(眼睛/鼻子/嘴的分布位置相对固定),当不存在全局的局部特征分布时,Local-Conv更适合特征的提取。


以下问题来自@抽象猴

什麽样的资料集不适合用深度学习?
数据集太小,数据样本不足时,深度学习相对其它机器学习算法,没有明显优势。


数据集没有局部相关特性,目前深度学习表现比较好的领域主要是图像/语音/自然语言处理等领域,这些领域的一个共性是局部相关性。图像中像素组成物体,语音信号中音位组合成单词,文本数据中单词组合成句子,这些特征元素的组合一旦被打乱,表示的含义同时也被改变。对于没有这样的局部相关性的数据集,不适于使用深度学习算法进行处理。举个例子:预测一个人的健康状况,相关的参数会有年龄、职业、收入、家庭状况等各种元素,将这些元素打乱,并不会影响相关的结果。


对所有优化问题来说, 有没有可能找到比現在已知算法更好的算法?
机器学习-周志华


没有免费的午餐定理:

 


对于训练样本(黑点),不同的算法A/B在不同的测试样本(白点)中有不同的表现,这表示:对于一个学习算法A,若它在某些问题上比学习算法 B更好,则必然存在一些问题,在那里B比A好。


也就是说:对于所有问题,无论学习算法A多聪明,学习算法 B多笨拙,它们的期望性能相同。


但是:没有免费午餐定力假设所有问题出现几率相同,实际应用中,不同的场景,会有不同的问题分布,所以,在优化算法时,针对具体问题进行分析,是算法优化的核心所在。


用贝叶斯机率说明Dropout的原理


Dropout as a Bayesian Approximation: Insights and Applications

 

 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

继续阅读
华为/高通/英特尔和苹果在AI芯片领域上演“大乱斗”
华为/高通/英特尔和苹果在AI芯片领域上演“大乱斗”

深入学习的到来对数据中心产生了巨大的影响。现在,随着芯片制造商向移动处理器中嵌入神经引擎,深度学习正在向边缘移动。但是,高通、英特尔等人正在采取非常不同的方法。 在上周的iPhone X发布会中,苹果公司花了大量时间用于介绍A11处理器的新型神经元引擎,能够提供面部识别和其他功能。9月1日-6日,在柏林的IFA,华为宣布

一文读懂深度学习
一文读懂深度学习

近日,在深度学习领域出现了一场热烈的争论。这一切都要从Jeff Leek在Simply Stats上发表了一篇题为 《数据量不够大,别玩深度学习》 (Don't use deep learning your data isn't that big)的博文开始。

别自称AI公司了,Google Brain团队创始人:这才是一个AI公司该有的修养

随着AI公司走红,大量公司开始声称自己是AI公司。Google Brain团队创始人Andrew Ng作为AI领域的领导性人物,他表示,使用神经网络就称之为AI公司未免太牵强,一个正真的AI公司需要满足很多衡量标准。

不要对深度学习有偏见,它不是万能的
不要对深度学习有偏见,它不是万能的

近日,在深度学习领域出现了一场热烈的争论。这一切都要从Jeff Leek在Simply Stats上发表了一篇题为 《数据量不够大,别玩深度学习》 (Don't use deep learning your data isn't that big)的博文开始。

深度学习演算法接近线性微缩效率
深度学习演算法接近线性微缩效率

IBM Research在深度学习演算法取得最新突破,据称几乎达到了线性加速的最佳微缩效率目标…

更多资讯
东旭光电又爆石墨烯新应用,怎么用在LED路灯上?
东旭光电又爆石墨烯新应用,怎么用在LED路灯上?

主营光电显示材料的东旭光电在石墨烯产业化应用方面正在加速推进。

全球独角兽公司榜单公布,中国上榜企业数量排第二

美国著名创投研究机构CB Insights近日发布“全球独角兽公司榜单”,共计214家企业上榜。前十名中,有6家为美国企业,其余4家皆为中国企业,分别是滴滴出行、小米、陆金所和新美大。

面板大面积价格缩水,你买电视机的时机到了
面板大面积价格缩水,你买电视机的时机到了

从去年开始,面板价格就进入快速上升通道,这也直接导致零售端电视的价格集体暴涨,小尺寸电视涨幅最大,同时也让众多电视厂商吃不消。持续了将近一年的液晶面板涨价风波,让以互联网电视为主的各大厂商不得不改变市场策略。

中芯国际28nm扩产,股价涨幅达41%
中芯国际28nm扩产,股价涨幅达41%

研究机构观察到,今年以来,中芯国际的股价进行了较大幅度的局部调整,截止2017年8月11日,调整幅度达41%,不过近期该公司股价有触底回升的趋势,近半个月涨幅23.2%,已经成功突破120日均线价位,欲突破前技术压力位9.4港元,露出明显的圆弧形态。

又爆“杀手级”新品 东旭光电石墨烯产业续写传奇
又爆“杀手级”新品 东旭光电石墨烯产业续写传奇

9月24日,在2017中国国际石墨烯创新大会上,中国石墨烯产业化应用领军企业东旭光电重磅推出了石墨烯产业化应用最新成果:石墨烯散热大功率LED照明系列产品 -- “超极灯”。

微话题

年初定的哪些“小目标”没有阵亡?

2017年能耗过半,年初定的哪些“小目标”没有阵亡? ……