map/reduce의 정적 객체

Question

hadoop에서 정적 객체를 사용하려고했습니다. 이 개체는 모두 map 및 reduce에서 사용됩니다. 내 프로그램 :

1. 100000 줄, 따라서 100000 개의지도를 읽습니다. 각각의 매퍼
2. 이 객체 플러스 각 감속기 1.
3. 의 정적 특성이 정적 특성

시험 결과는, 정적에 따라서, 감속기의 값 V2를 기입 감속기가 시작되기 전에 매퍼의 객체가 정리되었습니다. 또한 감속기의 정적 객체는 다른 작업 추적기간에 동일하지 않은 것으로 보이므로 다른 감속기의 결과를 누적 할 수 없습니다.

제 질문은 어떻게 정적 객체를 사용하고 다른 tasktrackers간에 동일하게 유지할 수 있습니까?

Answer 1

기본적으로 각 매퍼와 축소 기는 자체 JVM에서 실행되므로 분명히 통계는 전체 클러스터에서 전역 적이 지 않습니다. 전체 개수를 누적하려는 경우 Hadoop 카운터를 사용하십시오.

reporter.incrCounter("My custom counters", "my counter", 1);