apache spark : 코드 최적화를위한 입력이 필요합니다.

Question

1.5G 데이터를 읽고 변환하는 애플리케이션을 구축 중입니다. 내 코드 스켈레톤은 다음과 같습니다.

는 // 여기에 내가 // 4000 개 파일을 읽고 노동 조합을 형성 RDD를 모든 레코드와 unionbioSetId로

실행() {

JavaRDD<String> unionbioSetId = readDirectory(ctx, groupAID, groupBID); 
JavaRDD<String> temp= unionbioSetId.coalesce(6, false); 

JavaPairRDD<String, Tuple3<Double, Double, Double>> flatRDD = temp.flatMapToPair(
new PairFlatMapFunction<String, String, String>() { 
return Arrays.asList(new Tuple2<String, String>(key,value)); 
}}).groupByKey().mapToPair(new PairFunction<Tuple2<String, Iterable<String>>, // input 
String, // K 
Tuple3<Double, Double, Double> // V 
>() { 
public Tuple2<String, Tuple3<Double, Double, Double>> call(
Tuple2<String, Iterable<String>> value) { 
}).filter(new Function<Tuple2<String, Tuple3<Double, Double, Double>>, Boolean>() { 
}});// group by key and map to pair,sort by key 
} 
String hadoopOutputPathAsString = directory; 
flatRDD.saveAsTextFile(hadoopOutputPathAsString); 
} 

} 을 반환하는 아이디의 목록을 통과 실행기의 ///////////// NUM 9 드라이버 메모리 : 실행 프로그램 메모리의 2g : 6g에게 execuotr 코어 12

내 프로그램이 map/reduce (동일한 코드 스켈레톤)보다 느리게 실행됩니다. 위의 코드 스켈레톤을 최적화하는 데 도움이 될 수 있습니다.

Answer 1

coalesce으로 전화하지 마십시오. 파티션이 덜 필요하므로 더 많이 필요합니다. 108 개의 작업자 코어가 있지만 6 개의 파티션이있는 경우 6 개만 사용합니다. 어림짐작은 최소한 3 * num_executors * cores_per_executor = 324 파티션이 필요하다는 것입니다.

JavaRDD<String> temp = unionbioSetId.repartition(350); 

또는 파티션 수를 전혀 변경하지 마십시오. 파일을 읽을 때 데이터는 Hadoop 스플릿으로 분할됩니다. 대부분의 경우 레이아웃이 좋으며 다시 분할하는 데 드는 비용을 피할 수 있습니다.

을 별도로 읽은 다음 해당 유니온을 가져 오는 대신 sc.textFile("file1,file2,file3,...") 또는 sc.textFile("dir/*")으로 읽습니다. 또한 성능 차이가 발생할 수 있습니다.