결과 Rdd를 HashMap으로 변환

Question

rdd를 hashMap으로 변환해야합니다. 나는 다음과 같은 RDD 데이터를 데 :

(과일, 목록 (사과, 바나나, 망고)) (야채, 목록 (감자, 토마토))

나는 현재 코드

object JsonParse { 

def main(args: Array[String]){ 


val sc = new SparkContext(new SparkConf().setAppName("JsonParse").setMaster("local")) 

val arr = Array(("FRUIT",List("Apple","Banana","Mango")),("VEGETABLE", List("Potato","Tomato"))) 

val Rdd = sc.parallelize(arr) 

아래로 데

더 진행하는 방법 ??

Answer 1

는 Map로 변환

rdd.collect.toMap 

을보십시오. 조치 collect은 rdd의 내용을 마스터 노드에 로컬로 수집합니다.

Answer 2

rdd.collectAsMap() // Map(VEGETABLE -> List(Potato, Tomato), FRUIT -> List(Apple, Banana, Mango))