Hadoop 작업 진행

Question

Hadoop 클러스터의 모든 노드에서 실행중인 각 맵 작업의 진행률을 계산해야합니다. 나는 처리 된 데이터의 크기를 전체 입력 데이터의 크기로 나눌 생각을하고 있었지만,이 정보를 어떻게 얻는 지 잘 모르겠습니다.

TaskStatus 클래스에는 메서드 getProgress()이 있지만 그 설명이 없습니다. 필요한 가치를 제공합니까?

Answer 1

맵 태스크의 경우 예 : getProgress()은 매퍼가 입력 파일을 얼마나 멀리 진행했는지를 리턴합니다. 작업을 줄이려면 계산이 덜 간단합니다. This article 꽤 좋은 설명이 있습니다.