스칼라에서 여러 열 셋에 하나의 열이있는 데이터 집합을 변환

Question

나는 문자열의 데이터 집합 인 데이터 집합을 가지고 있으며 데이터

12348,5,233,234559,4 
12348,5,233,234559,4 
12349,6,233,234560,5 
12350,7,233,234561,6 

나는이 단일 행을 분할하여 여러 열이를 변환 할있다 RegionId, PerilId, Date, EventId, ModelId가 있습니다. 어떻게 이것을 달성합니까?

Answer 1

당신은 의미 :

case class NewSet(RegionId: String, PerilId: String, Date: String, EventId: String, ModelId: String) 
val newDataset = oldDataset.map(s:String => { 
       val strings = s.split(",") 
       NewSet(strings(0), strings(1), strings(2), string(3), strings(4)) }) 

당신은 아마 당신은 RDD에 지정된 데이터가있는 경우, 다음 dataframe에 그 변환

Answer 2

... 람다 함수를 좀 더 강력해야 물론 꽤 쉽습니다.

case class MyClass(RegionId: String, PerilId: String, Date: String, 
EventId: String, ModelId: String) 

val dataframe = sqlContext.createDataFrame(rdd,classOf[MyClass]) 

이 데이터 프레임에는 clas MyClass의 변수에 해당하는 열 이름이있는 모든 열이 있습니다.