2014-02-12 2 views
0

상당히 작은 클러스터가있을 수 있으며이를 테스트하려면 비트 수를 https://hadoop.apache.org/docs/stable1/mapred_tutorial.html에서 2 개 사용하고 hadoop 자체의 예제를 사용했습니다.WordCount 다른 실행 시간 버전

이제 "문제"에 대한 두 버전의 단어 수는 완전히 다른 실행 시간을가집니다. 버전 1은 버전 2보다 5 배 빠릅니다. 코드를 좀 더 비슷하게 수정했으며 여전히이 놀라운 차이점을 보여줍니다.

누구나이 동작을 설명 할 수 있습니까? 아니면 뭔가 잘못 됐습니까? 그리고 만약 그렇다면?

답변

0

버전 2는 더 많은 작업을 수행합니다. 즉 버전 2는 DistributedCache를 사용하여 패턴과 일치하는 단어를 건너 뜁니다.

+0

참으로 ...하지만 나는 그들을 더 똑같이 만들기 위해 버렸습니다 ... 두 사람은 똑같은 일을합니다. 그러나 이전 버전은 훨씬 빨리 실행됩니다. – Daniel