Spark SqlContext에서 JSON 형식을 출력합니다.

Question

Spark SqlContext를 사용하여 postgres 데이터베이스에서 데이터를 가져 왔습니다.

 Class.forName(dbDriver); 

     Map<String, String> options = new HashMap<String, String>(); 
     options.put("url", dbUrl); 
     options.put("dbtable", dbTable); 
     options.put("driver", dbDriver); 

     SparkConf conf = new SparkConf().setAppName("JAVA_SPARK") 
       .setMaster("local[2]").set("spark.ui.port‌​", "7077"); 

     JavaSparkContext jsc = new JavaSparkContext(conf); 

     SQLContext sqlContext = new SQLContext(jsc); 

     DataFrame dframe = sqlContext.read().format("jdbc") 
       .options(options).load(); 

     dframe.show(); 

나는 다음과 같은 출력을 가지고있다 :

+------+---+ 
| name|age| 
+------+---+ 
|abc | 20| 
|xyz | 4| 
+------+---+ 

내가 원하는이 JSON format.Is 년에이 형식을 변환 할 수있는 방법이 될 수있는 출력을 여기

샘플 코드입니다 JSON 또는이 다른 특정 방식으로?

Answer 1

DF를 json으로 변환하려면 다음을 사용할 수 있습니다.

JavaRDD<String> jsonRDD = dframe.toJSON().toJavaRDD();  
jsonRDD.foreach(data -> { 
     System.out.println(data); 
    }); 

당신은 당신이 다음) (취() 또는 수집 통화 목록으로 얻고 싶다면 다음

dframe.write().json("c:\\temp\\myfile.json"); 

를 사용하여 JSON 파일로 저장합니다. 이러한 방법을 사용할시기는 Spark doc을 참조하십시오.

List<String> mylist = jsonRDD.collect();