스파크 MLLib 2.0 파이프 라인의 범주 형 기능

Question

로그 파일을 기반으로 의사 결정 트리를 작성하려고합니다. 일부 기능 세트에는 수천 개의 고유 한 값이 포함되어 있습니다. Java에서 파이프 라인과 데이터 프레임의 새로운 관용구를 사용하려고합니다. 필자는 각 범주의 기능 열에 대해 여러 StringIndexer 파이프 라인 단계를 사용하여 파이프 라인을 작성했습니다. 그런 다음 VectorAssembler를 사용하여 기능 벡터를 만듭니다. 결과 데이터 프레임은 VectorAssembler 단계 이후에 완벽하게 보입니다. 나는 노멀 라이저를 사용하여이 문제를 해결할 수 있습니다

DecisionTree requires maxBins (= 32) to be at least as large as the number of values in each categorical feature, but categorical feature 5 has 49 values. Considering remove this and other categorical features with a large number of values, or add more training examples.

: 내 파이프 라인은 약

같은

StringIndexer-> StringIndexer-> StringIndexer-> VectorAssembler-> DecisionTreeClassifier

그러나 나는 다음과 같은 오류가 보인다 하지만 원래의 기능 값을 사용하여 DSL 의사 결정 트리를 생성해야하므로 의사 결정 트리는 내 필요에 사용할 수 없습니다. 전체 파이프 라인이 함께 실행되기 때문에 수동으로 maxBins를 설정할 수 없습니다. 결과 결정 트리에 StringIndexer가 값을 생성하도록하고 싶습니다 (예 : Feature 5 < = 132). 또한, 그다지 중요하지는 않지만 기능에 대한 고유 한 이름을 지정할 수 있기를 원합니다 (예 : '기능 5'대신 '도메인 5')

Answer 1

DecisionTree 알고리즘은 하나의 maxBins 값을 사용하여 걸릴 분할 수입니다. 기본값은 (= 32)입니다. maxBins는 범주 형 기능의 최대 범주 수보다 크거나 같아야합니다. 기능 5에는 49 가지 값이 있으므로 maxBins를 49 이상으로 늘려야합니다.

DecisionTree 알고리즘에는 몇 가지 하이퍼 매개 변수가 있으며 데이터에 맞게 조정하면 정확도가 향상 될 수 있습니다. 하이퍼 파라미터 그리드를 자동으로 테스트하고 최상의 것을 선택하는 Spark Cross Validation 프레임 워크를 사용하여이 튜닝을 수행 할 수 있습니다. 여기

나는 두 가지 필요 3 maxBins [49, 52, 55] 아웃 켜지고

dt = DecisionTreeClassifier(maxDepth=2, labelCol="indexed") 
paramGrid = ParamGridBuilder().addGrid(dt.maxBins, [49, 52, 55]).addGrid(dt.maxDepth, [4, 6, 8]).addGrid(rf.impurity, ["entropy", "gini"]).build() 
pipeline = Pipeline(stages=[labelIndexer, typeIndexer, assembler, dt])