信息增益和信息增益率都是信息论中的重要概念。
1.什么是信息增益和信息增益率
信息增益是指在进行决策树分类时,从一个未分类集合到根据某特征划分后的两个已分类集合之间信息不确定性的减少。信息增益率是相对于特征本身固有信息量大小而言的信息增益。
2.信息增益和信息增益率的区别
区别在于信息增益率相较于信息增益会更加倾向于选择那些取值比较少的特征,在避免过拟合的情况下能够达到更好的效果。
阅读全文
电子硬件助手
元器件查询
1063
扫码加入
信息增益和信息增益率都是信息论中的重要概念。
信息增益是指在进行决策树分类时,从一个未分类集合到根据某特征划分后的两个已分类集合之间信息不确定性的减少。信息增益率是相对于特征本身固有信息量大小而言的信息增益。
区别在于信息增益率相较于信息增益会更加倾向于选择那些取值比较少的特征,在避免过拟合的情况下能够达到更好的效果。
人工客服