Stop 하둡에서 기능 감소시키기

Question

일부 'n'키를 처리 한 후에 reduce 기능을 중단하려는 reduce 기능이 있습니다. 나는 각 키의 증가분에 카운터를 설정하고, 조건부에서 reduce 함수의 반환을 만족시킨다.

는 여기에 내가이를 다른 방법이 있나요 코드

public class wordcount { 

public static class Map extends Mapper<LongWritable, Text, IntWritable, IntWritable> { 
     private final static IntWritable one = new IntWritable(1); 
    private Text word = new Text(); 
     private IntWritable leng=new IntWritable(); 

public void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { 
     String line = value.toString(); 

     StringTokenizer tokenizer = new StringTokenizer(line); 
     while (tokenizer.hasMoreTokens()) { 
       String lword=tokenizer.nextToken(); 
      leng.set(lword.length()); 
      context.write(leng, one); 
      } 
     } 
    } 

public static class Reduce extends Reducer<IntWritable, IntWritable, IntWritable, IntWritable> { 

    int count=0; 
     public void reduce(IntWritable key, Iterable<IntWritable> values, Context context) 
     throws IOException, InterruptedException { 
     int sum = 0; 
      for (IntWritable val : values) { 
       sum += val.get(); 
     count++; 
     } 
     context.write(key, new IntWritable(sum)); 
     if(count>19) return; 
      } 

    } 

입니다.

Answer 1

당신은 하나 이상의 감속기가있는 경우, 당신은 처리 키를 내부적으로 제한 처리 할 수 ​​있음을 염두에 감속기 클래스 (새 API)의 run()를 재정 의하여

public static class Reduce extends Reducer<IntWritable, IntWritable, IntWritable, IntWritable> { 

    //reduce method here 

    // Override the run() 
    @override 
    public void run(Context context) throws IOException, InterruptedException { 
    setup(context); 
    int count = 0; 
    while (context.nextKey()) { 
     if (count++ < n) { 
     reduce(context.getCurrentKey(), context.getValues(), context); 
     } else { 
      // exit or do whatever you want 
     } 
    } 
    cleanup(context); 
    } 
}