这7 个深度学习实用技巧,你掌握了吗?

2018-02-12 16:21:00 来源:推酷
标签:
前几天,深度学习工程师George Seif发表了一篇博文,总结了7个深度学习的技巧,主要从提高深度学习模型的准确性和速度两个角度来分析这些小技巧。在使用深度学习的时候,我们不能仅仅把它看成一个黑盒子,因为网络设计、训练过程、数据处理等很多步骤都需要精心的设计。作者分别介绍了7个非常实用小技巧:数据量、优化器选择、处理不平衡数据、迁移学习、数据增强、多个模型集成、加快剪枝。相信掌握了这7个技巧,能让你在实际工作中事半功倍!
 
7 Practical Deep Learni ng Tips
 
7个实用的深度学习技巧
深度学习已经成为解决许多具有挑战性问题的方法。 在目标检测,语音识别和语言翻译方面,深度学习是迄今为止表现最好的方法。 许多人将深度神经网络(DNNs)视为神奇的黑盒子,我们输入一些数据,出来的就是我们的解决方案! 事实上,事情要复杂得多。
 
在设计和应用中,把DNN用到一个特定的问题上可能会遇到很多挑战。 为了达到实际应用所需的性能标准,数据处理、网络设计、训练和推断等各个阶段的正确设计和执行至关重要。 在这里,我将与大家分享7个实用技巧,让你的深度神经网络发挥最大作用。
 
 
▌ 1-数据,数据,数据
这不是什么大秘密,深度学习机需要大量的“燃料”, 那“燃料”就是数据。拥有的标签数据越多,模型的表现就越好。 更多数据产生能更好性能的想法,已经由谷歌的大规模数据集(有3亿图像)证明!为了感受数据带给深度学习模型的性能提升,在部署Deep Learning模型时,你应该不断地为其提供更多的数据和微调以继续提高其性能。 Feed the beast:如果你想提高你的模型的性能,就要提供更多的数据!
 
图显示数据量的增加会得到更好的性能
 
▌ 2-你应该选择哪一个优化器
多年来,已经开发了许多梯度下降优化算法,他们各有其优缺点。 一些最流行的方法如下:
 
Stochastic Gradient Descent (SGD) with momentum
 
Adam
 
RMSprop
 
Adadelta
 
RMSprop,Adadelta和Adam被认为是自适应优化算法,因为它们会自动更新学习率。 使用SGD时,您必须手动选择学习率和动量参数,通常会随着时间的推移而降低学习率。
 
在实践中,自适应优化器倾向于比SGD更快地收敛, 然而,他们的最终表现通常稍差。 SGD通常会达到更好的minimum,从而获得更好的最终准确性。但这可能需要比某些优化程序长得多的时间。 它的性能也更依赖于强大的初始化和学习率衰减时间表,这在实践中可能非常困难。
 
因此,如果你需要一个优化器来快速得到结果,或者测试一个新的技术。 我发现Adam
 
很实用,因为它对学习率并不是很敏感。 如果您想要获得绝对最佳的表现,请使用SGD + Momentum,并调整学习率,衰减和动量值来使性能最优化。
 
▌ 两全其美的办法
最近已经证明,可以得到两全其美的结果:从 Adam   到SGD的高性能高速训练! 这个想法是,实际上由于在训练的早期阶段SGD对参数调整和初始化非常敏感。 因此,我们可以通过使用Adam来开始训练,这将节省相当长的时间,而不必担心初始化和参数调整。 那么,一旦Adam获得较好的参数,我们可以切换到SGD +动量优化,以达到最佳性能!
 
 
Adam vs SGD 性能 
 
▌ 3-如何处理不平衡数据
在很多情况下,都要处理不平衡的数据,特别是实际应用程序中。 一个简单而实际的例子如下:训练您的深度网络以预测视频流中是否有人持有致命武器。 但是在你的训练数据中,你只有50个拿着武器的人的视频和1000个没有武器的人的视频! 如果你只是用这些数据来训练你的网络,那么你的模型肯定会非常偏向于预测没有人有武器!
 
你可以做用以下的方法来解决它:
 
在损失函数中使用类权重。 本质上就是,让实例不足的类在损失函数中获得较高的权重,因此任何对该类的错分都将导致损失函数中非常高的错误。
 
过度采样:重复一些实例较少的训练样例,有助于平衡分配。 如果可用的数据很小,这个方法最好。
 
欠采样:一些类的训练实例过多,可以简单地跳过一些实例。 如果可用数据非常大,这个方法最好。
 
为少数类增加数据。可以为少数类创建更多的训练实例! 例如,在前面检测致命武器的例子中,你可以改变属于具有致命武器的类别的视频的颜色和光照等。
 
 
关注与非网微信 ( ee-focus )
限量版产业观察、行业动态、技术大餐每日推荐
享受快时代的精品慢阅读
 

 

继续阅读
全面解读华为的边缘计算芯片布局

近日,华为和比特大陆纷纷发布了针对边缘计算的新芯片产品。华为的Ascend系列采用达芬奇架构,其中Ascend 310功耗8W算力8TOPS正是针对边缘计算市场。

工业人工智能未来会朝着哪个方向发展?
工业人工智能未来会朝着哪个方向发展?

通过工业人工智能与数字设计相结合,将制造过程所需的信息无缝地结合到原材料到产品的转换过程当中,从而形成一个高度互联的工业实体。

计算机视觉可以对目标进行识别、跟踪、测量,未来还能增加什么新功能?
计算机视觉可以对目标进行识别、跟踪、测量,未来还能增加什么新功能?

近年来,为了使计算机更像人类,识别物体,深度学习,计算机视觉技术方法和应用迅速发展,全球计算机视觉市场正在迅速崛起。随着人工智能产业的升温,计算机视觉行业也在加速扩张。

人工智能算法也存在偏见?人工智能辅助决策何时能真正落地?
人工智能算法也存在偏见?人工智能辅助决策何时能真正落地?

机器学习来了,人工智能来了,我们正处在信息革命的进程之中,在感叹生逢其时的同时,必须警惕随之而来的影响。让机器告诉你通勤的时间、你应该听的音乐以及你可能感兴趣的内容,这些都是相对无害的例子。

触角伸向AI医疗,英伟达的图形处理器能干点啥
触角伸向AI医疗,英伟达的图形处理器能干点啥

自家主流产品做得风生水起的英伟达目前打起了医疗AI的算盘,而面对似乎从人人都追的医疗AI风口退却的时候,英伟达仍然要去试试自己并不擅长的跨界领域,其目的究竟是要赶上风口的末班车,还是要利用自身的技术实力去真正撬动医疗领域呢?

更多资讯
苹果计划通过缩减招聘度过困境,是否可行?

据知情人士透露,苹果公司将削减部分部门的招聘,此前该公司iPhone销量低于预期,且未能实现假日季度的收入预期。苹果公司CEO蒂姆-库克(Tim Cook)本月早些时候在一次会议上向员工披露了这一消息。

《啥是佩奇》引发的IP社会化营销思考

动画形象ip本是一个二维的产物,因为ip本身的稀缺性、存在感、互联网化而变的越发的生动形象。如果几年前,我们提起ip,想到更多的还是热播剧以及动漫形象。但现在的ip已经进化成了矩阵式的三维衍生内容,如果要追其最根本的变化,其实无非是最开始的二元形象,通过几年的人为情感的融入,得到了“发酵”。这也是中国ip市场相较于国外的不同与优势。

遗憾收场的东芝家电如何重获新生?

相信没有人会想到,当初命在旦夕的东芝会有重获新生的可能,毕竟商业江湖,一旦走了下坡路,想要来个转折逐步走向复活,这绝对不是件易事。但凡事哪能一棒子打死,要么怎会有奇迹的存在呢?东芝家电就是那个例外的存在!

美无线制Libratone小鸟音响正式发布TRACK Air真无线耳机系列

丹麦品牌Libratone小鸟音响于2019年1月17日在北京正式发布真无线耳机系列 -- TRACK Air+真无线降噪耳机及 TRACK Air 真无线耳机,TRACK Air 真无线耳机系列采用前沿的技术和摩登设计,将颠覆市面上现有产品的理念,带来全新的真无线耳机聆听体验。

iPhone促销背后还面临哪3大问题?

作为全球最成功的科技公司之一,苹果公司的2018年并不好过。2018年8月2日,对苹果公司来说,无疑是个值得纪念的日子。

电路方案