这个“分数”到底是多少？基于sklearn/Python的额外树分类器

Question

我使用额外的树分类器来找出数据集中哪些属性更重要。结果，它返回一个分数值（例如每个属性都有一个分数，比如0.037，0.025，0.012等），这个分数到底是什么意思？在

编辑：我实际上在搜索它是如何计算的？哪个公式给我分数？

model = ExtraTreesClassifier()
model.fit(dataValues, dataTargetEncoded)

feat_importances = pd.Series(model.feature_importances_,index=dataValues.columns)
feat_importances.nlargest(25).plot(kind='barh')
plt.show()

Answer 1

在一行中：

分数越高，对应的特征越重要。在

来自Documentation：

作为树中决策节点的特征的相对秩（即深度）可以用来评估该特征相对于目标变量的可预测性的相对重要性。树顶部使用的特征有助于更大比例输入样本的最终预测决策。因此，它们贡献的样本的期望分数可以用来估计特征的相对重要性。在

在scikit-learn中，特征贡献的样本分数与拆分样本所导致的杂质减少相结合，从而对该特征的预测能力进行归一化估计。在

您可以在中找到更多详细信息

G. Louppe, “Understanding Random Forests: From Theory to Practice”, PhD Thesis, U. of Liege, 2014.

从上述论题来看：

根据文档：

根据代码，加权杂质减少方程如下：

Feature of importance of feature X_i 
    = Sum of the following value for all nodes, in which X_i is the splitting features

       N_t / N *impurity - N_t_R / N_t * right_impurity
                        - N_t_L / N_t * left_impurity

其中N是样本总数，N_t是 samples at the current node，N_t_L是 left child，N_t_R是右子元素中的样本数。 N、N_t、N_t_R和{}都是加权和， 如果sample_weight被传递。在

对于一组树，对所有树的特征重要性进行平均，得到整个模型的特征重要性。在