대용량 맵/축소 응용 프로그램에서 카운터 관리

Question

여러개의 유사한 맵/축소 작업이 분기 카운터 이름과 다른 getCounter() 규칙을 사용합니다.

1. 큰지도에서 카운터 로그의 균일 사용을 관리하기위한 효과적이고 관용적 인 하둡 방법이 있나요/응용 프로그램을 감소?

2. 다른지도/축소 작업이 자체 카운터를 만들 수 있다는 생각은 다소 겁나는 생각입니다. 이를 비활성화 할 수있는 방법이있어 모든 카운터를 단일 리소스에서 만들어야합니다. 내 수업 중 일부의 결과물의 품질이 향상 될 것이라고 생각합니다.

3. 응용 프로그램에서 모든 카운터를 분석하거나 관리하기위한 다른 기술

   는

Answer 1

다음 코드는 Counters.java에 ... 감상 할 수있다. 이 코드는 20.203, 20.204 및 20.205 (현재 1.0이라고 함) 릴리스에 있습니다. 또한 매개 변수 중 일부는 구성 가능하고 일부 매개 변수는 구성 가능하지 않음에 유의하십시오. 트렁크 및 0.23 릴리스 아래의 코드에서

/** limit on the size of the name of the group **/ 
private static final int GROUP_NAME_LIMIT = 128; 
/** limit on the size of the counter name **/ 
private static final int COUNTER_NAME_LIMIT = 64; 

private static final JobConf conf = new JobConf(); 
/** limit on counters **/ 
public static int MAX_COUNTER_LIMIT = 
conf.getInt("mapreduce.job.counters.limit", 120); 

/** the max groups allowed **/ 
static final int MAX_GROUP_LIMIT = 50; 

은 MRJobConfig.java에있다. 매개 변수는 구성 가능합니다.

public static final String COUNTERS_MAX_KEY = "mapreduce.job.counters.max"; 
public static final int COUNTERS_MAX_DEFAULT = 120; 

public static final String COUNTER_GROUP_NAME_MAX_KEY = "mapreduce.job.counters.group.name.max"; 
public static final int COUNTER_GROUP_NAME_MAX_DEFAULT = 128; 

public static final String COUNTER_NAME_MAX_KEY = "mapreduce.job.counters.counter.name.max"; 
public static final int COUNTER_NAME_MAX_DEFAULT = 64; 

public static final String COUNTER_GROUPS_MAX_KEY = "mapreduce.job.counters.groups.max"; 
public static final int COUNTER_GROUPS_MAX_DEFAULT = 50; 

당신은 MAPREDUCE-3520이 mail에 관심이있을 수 있습니다. MAPREDUCE-3520에서 작업 할 계획이지만 시간을 얻지는 못했습니다 :)