CSV 데이터를 LabelledPoint 형식으로 변환하는 방법은 무엇입니까?

Question

여기 제공된 예제에서 http://spark.apache.org/docs/latest/mllib-clustering.html#streaming-k-means 데이터는 이미 LabelledPoint 형식으로되어 있지만 별도의 레이블 및 기능 열이있는 csv 파일 (및 두 텍스트 모두)이 있습니다.

Answer 1

CSV를 LabeledPoint로 변환하는 직접적인 방법은 없습니다. 원래의 질문 파이썬 구현을 요청하는 동안

val csv = sc.textFile("PATH/TO/CSVFILE") 

val lPoint = csv.map { line => 
    val values = line.split(",").map(_.toDouble) 
    val features = Vectors.dense(values.init) 
    //Assuming that the label is always in the last column. 
    val label = values.last 
    LabeledPoint(label, features) 
}