출력 파일에 기록 할 줄 수 제어하기

Question

하둡 프로그래밍을 처음 사용합니다.

나는 n-lines 뒤에 출력 파일에 <k3,v3>을 쓰지 않으려 고한다.

내 프로그램에서 출력 파일이 k3에 따라 정렬되지만 전체 목록을 원하지 않는다고 확신합니다. 나는 첫 번째 n 만 원한다.

이렇게하려면 Hadoop의 메커니즘이 있습니까?

Answer 1

동일한 클래스/API를 찾을 수 없습니다.

그러나 줄이기 기능에서 OutputCollector.collect()이 호출되면 카운터를 증가시킬 수 있습니다. 카운터가 특정 값에 도달하면 OutputCollector.collect() 호출을 중지합니다.

n 줄이 o/p에 기록 된 후에도 줄이기 작업이 계속 실행되므로 CPU주기가 낭비됩니다. 문제에 대한 더 나은 접근 방법이있을 수 있습니다.