Python의 임의 포리스트 회귀 분석기의 중요 기능

Question

예측 모델에 가장 중요한 기능을 찾으려고합니다.

현재 나는 그런

Model = Model.fit(Train_Features, Labels_Train) 
print(Model.feature_importances_) 

그것의 더 블랙 박스 타입의 방법을, 나는 그것이 기능에 대한 중요도를 사용하는 것 방법을 이해 아니에요 단지의로 sklearn의 붙박이 속성을 사용하고 있습니다. 이 작업을 수행하는 더 나은 방법이 있습니까?

Answer 1

의사 결정 트리의 경우 중요한 기능은 블랙 박스가 아닙니다. DecisionTreeRegressor 설명서에서 :

기능의 중요성은 해당 기능에 의해 가져 기준의 (표준화 된) 총 환원로 계산된다. 지니 (Gini) 중요성으로도 알려져 있습니다 ( ).

포리스트의 경우 포리스트의 다른 트리 전체에서 평균을 유지합니다. source code을 확인하십시오 :

def feature_importances_(self): 
    """Return the feature importances (the higher, the more important the 
     feature). 
    Returns 
    ------- 
    feature_importances_ : array, shape = [n_features] 
    """ 
    if self.estimators_ is None or len(self.estimators_) == 0: 
     raise NotFittedError("Estimator not fitted, " 
          "call `fit` before `feature_importances_`.") 

    all_importances = Parallel(n_jobs=self.n_jobs, 
           backend="threading")(
     delayed(getattr)(tree, 'feature_importances_') 
     for tree in self.estimators_) 

    return sum(all_importances)/len(self.estimators_)