PySpark : Spark ML MulitLayerPerceptron에 오류가 있지만 다른 분류기가 정상적으로 작동합니다.

Question

안녕하세요 저는 Spark ML을 사용하여 모델을 교육하고 있습니다. 교육 데이터 세트에는 130 개의 열과 1,000 만 개의 행이 있습니다. 자, 문제는 내가 MultiLayerPerceptron를 실행할 때마다 다음과 같은 오류를 보여주고 있다는 것입니다 :

org.apache.spark.SparkException: Job aborted due to stage failure: Task 43 in stage 1882.0 failed 4 times, most recent failure: Lost task 43.3 in stage 1882.0 (TID 180174, 10.233.252.145, executor 6): java.lang.ArrayIndexOutOfBoundsException

흥미롭게도 내가 같은 로지스틱 회귀와 임의의 숲과 같은 다른 분류를 사용할 때 발생하지 않습니다.

내 코드 :

# Building the model 

inputneurons = len(features_columns) 

#Assembling the Feature Vectors 
assembler = VectorAssembler(inputCols=features_columns, outputCol="features") 

#Logistic Regression 
mlp = MultilayerPerceptronClassifier(labelCol=label, featuresCol="features", layers=[inputneurons,300,2]) 

#Pipelining the assembling and modeling process 
pipeline = Pipeline(stages=[assembler, mlp]) 
model = pipeline.fit(training_df) 

은 무엇 스파크에서 MLP와 같은 문제 뒤에 이유가 될 수 있는가?

Answer 1

레이블에 2 개 이상의 클래스가 있지만 다중 인식기 분류기에서 2 개의 출력 뉴런을 지정하여 ArrayIndexOutOfBoundException이 발생했습니다.