hadoop의 매퍼에서 중복 키/값 쌍을 제거

Question

두 개의 다른 데이터 노드에서 실행되는 두 개의 다른 매퍼에서 동일한 키/값 쌍을 얻었고 단일 감속기를 사용하는 경우 어떻게 중복 키/값을 제거 할 수 있습니까? 페어가 감속기에 들어가는 것을 방지 할 수 있습니까?

결합기를 사용하고 같은 키에 대해 중복 값이 ​​있는지 확인한 다음 결합기에서 제거해야합니까? 그러나 결합기는 입력으로 모든 매퍼 쌍을 단일 매퍼에서 가져옵니다. 맞습니까?

Answer 1

이러한 복제를 처리하는 것은 정확하게 감속기의 의무입니다. 나는 이런 이유로 정확히 그것을 허락 할 방법이 없다고 생각한다.
올바른 방법으로 지시 한대로 - 결합자는 여기에서 전체적으로 도움이되지 않지만 중복 수를 줄입니다.