MapReduce Hadoop 작업의 전체 진행

Question

맵퍼 프로그램 당 mapaduce 프로그램을 사용하여 매퍼 인스턴스 당 하나의 파일을 처리하고 있습니다.
저는 현재 감속기 코드가 없습니다.

자, 내가 갖고 싶은 것은 전반적인 mapreduce 작업의 진행 상황을 확인하기위한 API를 얻는 것입니다.

API에서 mapprogress() 메소드를 볼 수 있지만 맵퍼와 관련하여 진도를 제공합니다. 전체 업무의 전반적인 진행 상황을 파악할 수 있습니까?

편집 : 나는 우연한 작업 흐름을 통해이 허프 작업을 촉발시킵니다. 오징어 또는 색조의 전반적인 진행 상황을 보여줄 수 있습니까? 그들은 API를 가지고 있습니까?

Answer 1

map-reduce 작업은 매퍼 단계와 감속기 단계의 두 단계로 구성됩니다.

감속기 위상은 매퍼 출력에 따라 다르므로 매퍼 실행을 완료하지 않으면 감속기의 진행 상황을 추적 할 수 없습니다. 감속기 단계가 종속적이므로 감속기 진행 상황을 가져 오기 전에 전체 작업 상태를 가져올 수 없습니다.

오히려 당신이 할 수있는 것은 :

사용 Job.mapProgress()이 매퍼 작업의 진행 상황을 추적 할 수 있습니다. 완료되면 Job.reduceProgress()을 사용하여 감속기 진행 상황을 추적 할 수 있습니다 (감속기가있는 경우). 결국 전체 작업의 진행 상황과 동일합니다.