스파크 RDD 매핑 질문

Question

나는

 
no1  1|3|4 
no2  4|5|6 

다음과 같은 텍스트 데이터를하고 난 스파크 RDD 및 스칼라 언어를 사용하여 다음과 같이 위의 데이터를 변환 할 수 있습니다.

 
no1  1 
no1  3 
no1  4 
no2  4 
no2  5 
no2  6 

저는 Spark와 Scala에 매우 익숙합니다. 그리고 저는 이것을하는 어떤 예도 찾을 수 없습니다.

Answer 1

파일을 RDD API보다 미래의 스파크 버전에 중점을 둔 데이터 프레임으로 읽는 것이 좋습니다. 귀하의 코멘트에 대한

val df = Seq(("no1", "1|3|4"), ("no2", "4|5|6")).toDF("A", "B") 
// df: org.apache.spark.sql.DataFrame = [A: string, B: string] 

df.show 
+---+-----+ 
| A| B| 
+---+-----+ 
|no1|1|3|4| 
|no2|4|5|6| 
+---+-----+ 


df.withColumn("B", explode(split($"B", "\\|"))).show 
+---+---+ 
| A| B| 
+---+---+ 
|no1| 1| 
|no1| 3| 
|no1| 4| 
|no2| 4| 
|no2| 5| 
|no2| 6| 
+---+---+