Hadoop 예제 정렬 유효성 검사

Question

hadoop-examples.jar에서 나는 TeraSort에 대해 알고 있는데 출력 검증에 TeraValidate를 사용할 수 있습니다. Sort 예제 출력의 유효성을 검사하는 비슷한 방법이 있습니까?

또한 TeraValidate를 사용하여 Sort 출력의 유효성을 검사했지만 오류가 발생했습니다.

다음은 그냥 teravalidate 만 terasort 작동을 확인

> error misorder in part-00001 last: ';:widdl' current: ')(winga' 
> error misorder in part-00001 last: 'scrat bact' current: 'FEBassa' 
> error misorder in part-00001 last: 'FEBassa' current: '?>Fouqu' 
> error misorder in part-00001 last: '?>Fouqu' current: '=<Itali' 
> error misorder in part-00001 last: 'shola spec' current: 'XWLemur' 
> error misorder in part-00001 last: 'biventer L' current: '43Mesua' 
> error misorder in part-00001 last: 'ploration ' current: 'pinulus ar' 
> error misorder in part-00001 last: 'pinulus ar' current: 'hgShiah' 
> error misorder in part-00001 last: 'pendulant ' current: '/.Tamil' 
> error misorder in part-00001 last: '`_Whilk' current: '54Yanni' 
> error misorder in part-00001 last: 'ribaldrous' current: 'cinque cha' 

Answer 1

, TeraValidate의 출력입니다. Sort의 출력을 검증하는 표준 작업은 없습니다.

TeraSort가 대부분의 벤치마킹 작업에 사용되는 이유는 TeraSort 자체에 TeraGen, TeraSort, TeraValidate가 모두 있기 때문입니다.