• 正文
    • 1.什么是欠拟合和过拟合
    • 2.过拟合和欠拟合的原因和解决
  • 电子产业图谱
申请入驻 产业图谱

什么是欠拟合和过拟合 过拟合和欠拟合的原因和解决

2022/11/28 作者:eefocus_3880508
阅读需 5 分钟
加入交流群
扫码加入
获取工程师必备礼包
参与热点资讯讨论

机器学习中一个重要的话题便是模型的泛化能力,泛化能力强的模型才是好模型,对于训练好的模型,若在训练集表现差,在测试集表现同样会很差,这可能是欠拟合导致。欠拟合是指模型拟合程度不高,数据距离拟合曲线较远,或指模型没有很好地捕捉到数据特征,不能够很好地拟合数据。下面小编给大家介绍一下“什么是欠拟合和过拟合 过拟合和欠拟合的原因和解决”

1.什么是欠拟合和过拟合

欠拟合是指模型在训练集、验证集和测试集上均表现不佳的情况;过拟合是指模型在训练集上表现很好,到了验证和测试阶段就大不如意了,即模型的泛化能力很差。

什么是欠拟合和过拟合

2.过拟合和欠拟合的原因和解决

解决欠拟合(高偏差)的方法:

1、模型复杂化

对同一个算法复杂化。例如回归模型添加更多的高次项,增加决策树的深度,增加神经网络的隐藏层数和隐藏单元数等。弃用原来的算法,使用一个更加复杂的算法或模型。例如用神经网络来替代线性回归,用随机森林来代替决策树等。

2、增加更多的特征,使输入数据具有更强的表达能力

特征挖掘十分重要,尤其是具有强表达能力的特征,往往可以抵过大量的弱表达能力的特征,特征的数量往往并非重点,质量才是,总之强特最重要。能否挖掘出强特,还在于对数据本身以及具体应用场景的深刻理解,往往依赖于经验。

3、调整参数和超参数

超参数包括:- 神经网络中:学习率、学习衰减率、隐藏层数、隐藏层的单元数、Adam优化算法中的β1和β2参数、batch_size数值等- 其他算法中:随机森林的树数量,k-means中的cluster数,正则化参数λ等。

4、增加训练数据往往没有用

欠拟合本来就是模型的学习能力不足,增加再多的数据给它训练它也没能力学习好。

5、降低正则化约束

正则化约束是为了防止模型过拟合,如果模型压根不存在过拟合而是欠拟合了,那么就考虑是否降低正则化参数λ或者直接去除正则化项。

解决过拟合(高方差)的方法:

1、增加训练数据数

发生过拟合最常见的现象就是数据量太少而模型太复杂,过拟合是由于模型学习到了数据的一些噪声特征导致,增加训练数据的量能够减少噪声的影响,让模型更多地学习数据的一般特征。增加数据量有时可能不是那么容易,需要花费一定的时间和精力去搜集处理数据。

利用现有数据进行扩充或许也是一个好办法。例如在图像识别中,如果没有足够的图片训练,可以把已有的图片进行旋转,拉伸,镜像,对称等,这样就可以把数据量扩大好几倍而不需要额外补充数据。

注意保证训练数据的分布和测试数据的分布要保持一致,二者要是分布完全不同,那模型预测真可谓是对牛弹琴了。

2、使用正则化约束

在代价函数后面添加正则化项,可以避免训练出来的参数过大从而使模型过拟合。使用正则化缓解过拟合的手段广泛应用,不论是在线性回归还是在神经网络的梯度下降计算过程中,都应用到了正则化的方法。常用的正则化有l1正则和l2正则,具体使用哪个视具体情况而定,一般l2正则应用比较多。

3、减少特征数

欠拟合需要增加特征数,那么过拟合自然就要减少特征数。去除那些非共性特征,可以提高模型的泛化能力。

4、调整参数和超参数

不论什么情况,调参是必须的。

5、降低模型的复杂度

欠拟合要增加模型的复杂度,那么过拟合正好反过来。

6、使用Dropout

这一方法只适用于神经网络中,即按一定的比例去除隐藏层的神经单元,使神经网络的结构简单化。

7、提前结束训练

即early stopping,在模型迭代训练时候记录训练精度(或损失)和验证精度(或损失),倘若模型训练的效果不再提高,比如训练误差一直在降低但是验证误差却不再降低甚至上升,这时候便可以结束模型训练了。

过拟合和欠拟合的原因和解决

电子产业图谱

TA的热门作品
查看更多