Spark Java Map 함수가 두 번 실행됩니다.

Question

위 코드를 스파크 드라이버로 사용하고 프로그램을 실행하면 필요한 데이터를 마루 파일로 올바르게 저장합니다.

 String indexFile = "index.txt"; 
     JavaRDD<String> indexData = sc.textFile(indexFile).cache(); 
     JavaRDD<String> jsonStringRDD = indexData.map(new Function<String, String>() { 
     @Override 
     public String call(String patientId) throws Exception { 
     return "json array as string" 
     } 
     }); 

//1. Read json string array into a Dataframe (execution 1) 
     DataFrame dataSchemaDF = sqlContext.read().json(jsonStringRDD); 
//2. Save dataframe as parquet file (execution 2) 
     dataSchemaDF.write().parquet("md.parquet"); 

하지만 RDD indexData 내 매퍼 기능을 관찰 두 번 실행지고 있습니다. 나는 마루 파일이 나를 인도 할 수

에 dataSchemaDF을 쓸 때 나는 SQLContext 둘째를 사용하여 DataFrame로 jsonStringRdd을 읽을 때 첫째, 어떻게이 반복 실행을 피하기 위해? json 문자열을 Dataframe으로 변환하는 더 좋은 방법이 있습니까?

Answer 1

이유는 JSON 독자를위한 스키마가 부족하다고 생각합니다. 당신이 실행하면 :

sqlContext.read().json(jsonStringRDD); 

스파크는 새로 DataFrame 생성 된 스키마를 추론 할 수있다.

StructType schema; 
... 

때 사용 : 당신이 JSON 문서의 모양을 설명하는 StructType을 만들 필요가 스캔 입력 RDD을 가지고 있으며, 당신이 그것을 피하려면이 단계가 열심히

을 수행 할합니다 당신은 DataFrame를 만듭니다

DataFrame dataSchemaDF = sqlContext.read().schema(schema).json(jsonStringRDD);