扫码加入数据分析学习群

问：

tree. DecisionTreeClassifier()的Criterion参数选择“entropy”还是“gini”？

答：

criterion 这个参数是用来决定不纯度的计算方法。 sklearn 提供了两种选择：

l 输入 “entropy”，使用信息熵（Entropy）

l 输入 “gini”，使用基尼系数（Gini Impurity）

比起基尼系数， 信息熵对不纯度更加敏感，对不纯度的惩罚最强。但是在实际使用中，信息熵和基尼系数的效果基本相同。
但是信息熵的计算比基尼系数缓慢一些，因为基尼系数的计算不涉及对数。
另外，因为信息熵对不纯度更加敏感，所以信息熵作为指标时，决策树的生长会更加 ”精细”，因此对于高纬数据或者噪声很多的数据，信息熵很容易过拟合，基尼系数在这种情况下效果往往比较好。
当模型拟合程度不足时，即当模型在训练集和测试集上都表现不太好的时候，使用
信息熵。当然，这些不是绝对的。