Apache Spark | 다양한 통계 알고리즘에 대해 spark MLlib에 필요한 입력 파일 형식은 무엇입니까

Question

Apacha Spark 및 MLlib를 처음 사용했습니다. 한 가지를 제외하고 라이브러리 (MLlib)를 사용하는 것에 대한 공정한 이해를 얻었습니다. 다양한 알고리즘을 위해 입력 데이터 파일을 준비하는 방법을 모르겠다. 도와주세요. 감사.

Answer 1

MLlib 페이지에서 제공되는 예제를 보면 입력 데이터 생성에 대한 세부 사항을 찾을 수 있습니다. 포인터를 제공하려면 저장소에 마지막 줄이 레이블 인 텍스트 csv 파일이 있다고 가정합니다. 그러면 다음 코드는 MLlib 알고리즘에 제출할 수있는 레이블이 지정된 점 RDD를 만듭니다.

val inputData = trainTextData.map { lines => 
     val parts = lines.split(",") 
     LabeledPoint(parts(index).toDouble, Vectors.dense(remove(parts,index).map(x => if(x=="NULL") (0.0).toDouble else x.toDouble).toArray)) 
    }.cache 

지도를 작성하여 동일한 방식으로 입력 데이터를 만들 수 있습니다. 그것은 고도로 귀하의 데이터에 의존합니다.