스파크/스칼라에서 맵 값을 설정하는 방법

Question

spark-scala 개발을 처음 사용합니다. 스칼라를 사용하여 스파크로지도 값을 만들려고하는데 아무 것도 인쇄하지 않습니다.

def createMap() : Map[String, Int] = { 
var tMap:Map[String, Int] = Map() 
val tDF = spark.sql("select a, b, c from temp") 
for (x <- tDF) { 
    val k = x.getAs[Long](0) + "|" + x.getAs[Long](1) 
    val v = x.getAs[Int](2) 
    tMap += (k -> v) 
    println(k -> v) ///----------This print values 
} 
println("Hellllooooooooo1") 
for ((k,v) <- tMap) println("key = " + k+ ", value= " + v) ////------This prints nothing 
println("Hellllooooooooo2") 
return tMap 
} 

제안 해주십시오.

Answer 1

user8598832는 (제대로의 일부 값을) 제대로하는 방법을 제공합니다. 접근 방식이 작동하지 않는 이유는 Executor의 맵에 (k, v)를 추가하는 것이지만, println은 드라이버에서 발생합니다. 일반적으로 드라이버에서 맵을 볼 수 없습니다 (s) (분산 모드가 아닌 로컬 모드로 실행하는 것은 단지 유물 일뿐입니다.)

Answer 2

"올바른"(드라이버 수집하는 적 권리 인 경우) 방법은 그것을 할 수 있습니다 :

import org.apache.spark.sql.functions._ 

tDF.select(concat_ws("|", col("a"), col("b")), col("c")).as[(String, Int)].rdd.collectAsMap