RDD를 시퀀스로 변환 할 수 없습니다

Question

DataFrame의 변수 rawData이 있습니다. 열의 모든 요소를 ​​가져 와서 Scala Seq으로 변환하려고합니다.

Error:(114, 40) value toSeq is not a member of org.apache.spark.rdd.RDD[Any] 
    val res = rawData.map(x => x(0)).toSeq 

그래서 rawData.map(x => x(0)) 유형 RDD[Any]이다 :

val res = rawData.map(x => x(0)).toSeq 

그러나, 나는 다음과 같은 오류를 얻고있다. Seq으로 변환하려면 어떻게해야합니까?

Answer 1

예외적으로, toSeq는 RDD 객체의 멤버가 아닙니다. 쉽게 만들 수 있습니다. 다음 명령을 실행하십시오 :

val res = rawData.map(x => x(0)).collect() 

이 명령은 반복 작업을 원하면 sequencial 오브젝트를 반환합니다.