打破深度学习偏见,这事跟数据量有啥关系?

2017-09-06 14:16:53 来源:粹客
分享到:
标签:

 

写在前面
近日,在深度学习领域出现了一场热烈的争论。这一切都要从 Jeff Leek 在 Simply Stats 上发表了一篇题为《数据量不够大,别玩深度学习》(Don’t use deep learning your data isn’t that big)的博文开始。作者 Jeff Leek 在这篇博文中指出,当样本数据集很小时(这种情况在生物信息领域很常见),即使有一些层和隐藏单元,具有较少参数的线性模型的表现是优于深度网络的。为了证明自己的论点,Leek 举了一个基于 MNIST 数据库进行图像识别的例子,分辨 0 或者 1。他还表示,当在一个使用仅仅 80 个样本的 MNIST 数据集中进行 0 和 1 的分类时,一个简单的线性预测器(逻辑回归)要比深度神经网络的预测准确度更高。

这篇博文的发表引起了领域内的争论,哈佛大学药学院的生物医药信息学专业博士后 Andrew Beam 写了篇文章来反驳:《就算数据不够大,也能玩深度学习》(You can probably use deep learning even if your data isn’t that big)。Andrew Beam 指出,即使数据集很小,一个适当训练的深度网络也能击败简单的线性模型。

如今,越来越多的生物信息学研究人员正在使用深度学习来解决各种各样的问题,这样的争论愈演愈烈。这种炒作是真的吗?还是说线性模型就足够满足我们的所有需求呢?结论一如既往——要视情况而定。在这篇文章中,作者探索了一些机器学习的使用实例,在这些实例中使用深度学习并不明智。并且解释了一些对深度学习的误解,作者认为正是这些错误的认识导致深度学习没有得到有效地使用,这种情况对于新手来说尤其容易出现。

打破深度学习偏见
首先,我们来看看许多外行者容易产生的偏见,其实是一些半真半假的片面认识。主要有两点,其中的一点更具技术性,我将详细解释。

深度学习在小样本集上也可以取得很好的效果
深度学习是在大数据的背景下火起来的(第一个谷歌大脑项目向深度神经网络提供了大量的 Youtube 视频),自从那以后,绝大部分的深度学习内容都是基于大数据量中的复杂算法。

然而,这种大数据 + 深度学习的配对不知为何被人误解为:深度学习不能应用于小样本。如果只有几个样例,将其输入具有高参数样本比例的神经网络似乎一定会走上过拟合的道路。然而,仅仅考虑给定问题的样本容量和维度,无论有监督还是无监督,几乎都是在真空中对数据进行建模,没有任何的上下文。

可能的数据情况是:你拥有与问题相关的数据源,或者该领域的专家可以提供的强大的先验知识,或者数据可以以非常特殊的方式进行构建(例如,以图形或图像编码的形式)。所有的这些情况中,深度学习有机会成为一种可供选择的方法——例如,你可以编码较大的相关数据集的有效表示,并将该表示应用到你的问题中。

这种典型的示例常见于自然语言处理,你可以学习大型语料库中的词语嵌入,例如维基百科,然后将他们作为一个较小的、较窄的语料库嵌入到一个有监督任务中。极端情况下,你可以用一套神经网络进行联合学习特征表示,这是在小样本集中重用该表示的一种有效方式。这种方法被称作 “一次性学习”(one-shot learning) ,并且已经成功应用到包括计算机视觉和药物研发在内的具有高维数据的领域。
 

药物研发中的一次性学习网络,摘自 Altae-Tran et al. ACS Cent. Sci. 2017
 

深度学习不是一切的答案
我听过最多的第二个偏见就是过度宣传。许多尚未入门该领域的人,仅仅因为深度神经网络在其它领域的出色表现,就期待它也能为他们带来神话般的表现提升。其他人则从深度学习在图像、音乐和语言(与人类关系密切的三种数据类型)处理领域的令人印象深刻的表现中受到启发,于是就头脑发热地钻入该领域,迫不及待地尝试训练最新的 GAN 结构。

当然,这种大肆吹捧在很多方面是真实存在的。深度学习在机器学习中的地位不可小觑,也是数据建模方法库的重要工具。它的普及带动了诸如 tensorflow 和 pytorch 等许多重要框架的发展,它们即使是在深度学习之外也是十分有用的。失败者崛起成为超级巨星的故事激励了许多研究员重新审视以前的模糊算法,如进化算法和增强学习。

但任何情况下也不能认为深度学习是万能良药。除了“天下没有免费的午餐”这点之外,深度学习模型是非常微妙的,并且需要仔细甚至非常耗时耗力的超参数搜索、调整,以及测试(文章后续有更多讲解)。除此之外,在很多情况下,从实践的角度来看,使用深度学习是没有意义的,更简单的模型反而能获得更好的效果。

深度学习不仅仅是.fit()
深度学习模型从机器学习的其他领域传来时,我认为还有另外一个方面经常被忽略。大多数深度学习的教程和介绍材料都将模型描述为通过层次方式进行连接的节点层组成,其中第一层是输入,最后一层是输出,并且你可以用某种形式的随机梯度下降(SGD)方法来训练网络。有些材料会简单介绍随机梯度下降是如何工作的,以及什么是反向传播,但大部分介绍主要关注的是丰富的神经网络类型(卷积神经网络,循环神经网络等等)。

而优化方法本身却很少受到关注,这是很不幸的,因为深度学习为什么能够起到很大的作用,绝大部分原因就是这些特殊的优化方法(具体论述可以参考 Ferenc Huszár 的博客以及博客中引用的论文)。了解如何优化参数,以及如何划分数据,从而更有效地使用它们以便在合理时间内使网络获得良好的收敛,是至关重要的。

不过,为什么随机梯度下降如此关键还是未知的,但是现在线索也正零星出现。我倾向于将该方法看成是贝叶斯推理的一部分。实质上,在你进行某种形式的数值优化时,你都会用特定的假设和先验来执行一些贝叶斯推理。其实有一个被称做概率数值计算(probabilistic numerics)的完整研究领域,就是从这个观点开始的。随机梯度下降也是如此,最新的研究成果表明,该过程实际上是一个马尔科夫链,在特定假设下,可以看作是后向变分近似的稳态分布。

所以当你停止随机梯度下降,并采用最终的参数时,基本上是从这个近似分布中抽样得到的。我认为这个想法很有启发性,因为这样一来,优化器的参数(这里是指学习率)就更有意义了。例如,当你增加随机梯度下降的学习参数时,马尔可夫链就会变得不稳定,直到它找到大面积采样的局部最小值,这样一来,就增加了程序的方差。

另一方面,如果减少学习参数,马尔科夫链可以慢慢的近似到狭义极小值,直到它收敛,这样就增加了某个特定区域的偏置。而另一个参数,随机梯度下降的批次大小,也可以控制算法收敛的区域是什么类型,小的批次收敛到较大区域,大的批次收敛到较小区域。

 

随机梯度下降根据学习速率或批尺寸来选择较大或狭义最小值

 

这样的复杂性意味着深度网络的优化器非常重要:它们是模型的核心部分,与层架构一样重要。这一点在机器学习的许多其他模型中并不常见。线性模型(甚至是正则化的,像 LASSO 算法)以及支持向量机(SVM)都是凸优化问题,没有太多细微差别,并且只有一个最优解。这也就是为什么来自其它领域的研究人员在使用诸如 scikit-learn 这样的工具时会感到困惑,因为他们发现找不到简单地提供.fit() 函数的 API(尽管现在有些工具,例如 skflow,试图将简单的网络置入.fit() 中,我认为这有点误导,因为深度学习的全部重点就是其灵活性)。

 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

继续阅读
华为Mate 10 Pro对比iPhone X,人工智能手机谁玩的溜?

盘点在2017年把“AI人工智能”做到最好的手机,莫过于华为Mate 10 Pro,以及iPhone X了。11月15日,智能手机市场正式迎来了Mate 10 Pro的重磅开售。伴随高端玩家的强势入局,智能手机的AI元年的形势也开始走向了高潮!

英特尔转型AI,能抵制 英伟达的进攻吗?
英特尔转型AI,能抵制 英伟达的进攻吗?

看到英伟达的成功,说英特尔不羡慕那是假的,于是,转型IOT和人工智能,收购Altera、Movidious和Mobileye,英特尔帝国也开始了,那么,未来,它能否抵挡英伟达的进攻吗?

手机屏下指纹良率和低成本难题怎么破?金立的“长安芯”能行吗

据介绍,“长安芯”是全球首款集人脸识别、物体识别、动作识别、思维反馈等功能于一体的人工智能神经网络与深度学习芯片DNPU,更是全球唯一一款面部识别芯片,体积仅为2mm X 2mm,功耗小于1毫瓦。

人工智能“高速”通车,各地方政府抓紧上路

刚过去的一周,科技部召开新一代人工智能发展规划暨重大科技项目启动会,发布了四大国家级人工智能创新平台;上海发布了人工智能(AI)产业政策,布局产业规模过千亿;11月18日,武汉东湖高新区发布AI产业政策,布局百亿产业。

应届生年薪50万还没招不到人?AI行业到底有多火?

当很多大学毕业生还在为10万元年薪欢呼时,炙手可热的AI专业应届生年薪已高达30万~50万元,干个三五年后很有可能涨至80万元。不过,这个价位主要针对的是研究生学历人才。

更多资讯
高交会最强“音”,“造物者”决战硬件创新

11月20日,助力高科技盛会,“寻找造物者—2017云创造物智能产品创意大赛”总决赛在深圳展览中心隆重举行。大赛是由云创造物主办,云创工场、云创硬见、电子圈、机智云、中电港、安创空间、合创资本和金百泽科技等数十家单位联合承办。

富士康曝非法加班,iPhone X高科技产品背后是中国式无奈?
富士康曝非法加班,iPhone X高科技产品背后是中国式无奈?

今天早上英国《金融时报》发表了一篇题为“富士康郑州工厂非法使用学生加班组装iPhone X”的文章,文中指出:苹果(Apple)在亚洲的主要供应商雇用学生非法加班组装iPhone X。厂家在遭遇生产延迟之后正竭力赶上需求。

比特币暴涨背后,其实是个“比傻”游戏

前后历时八年,价格从几美分涨到了近5000美元,比特币创造出无数“财富神话”。

乐视员工持股被清零,贾跃亭为何频频失信

“我的100万股被清零了,老贾(贾跃亭)太坑了!”一位乐视致新(乐视网子公司)前高管对记者抱怨,自己的乐视致新股权打了水漂。

京东方A一跃成为A股市场大明星,市值飙升的背后

京东方A昨日放量大涨6.38%,股价再度逼近前高,成交量放出近日天量,成交金额达167亿元。但与此同时,数据显示,上周京东方A资金流出超34亿元,居个股资金流出额首位,7.67%的换手率也达到近日新高,或暗示资金在当前位置产生分歧。

微话题

工作 or 考研?

又到一年招聘季,考研or工作让你实现了怎样的逆袭?……
Moore8直播课堂