특정 노드에서 매퍼 작업 실행

특정 매퍼 작업을 실행할 노드를 지정할 수 있습니까? 노드에 데이터를 분산 데이터특정 노드에서 매퍼 작업 실행

2014-04-30 board reader

왜 특정 노드에서 작업을 실행 하시겠습니까? –

데이터를 맵퍼 노드에 보관하는 노드에서 데이터가 이동하지 않도록 –

Hadoop은 스케줄링 중에 자동으로 처리합니다. 사용자는 아무 것도 할 필요가 없습니다. –

나는 확실히지도 작업이 특정 노드에서 실행 만들 수있는 신뢰할 수있는 방법이 확실하지 않다 것을 포함하는 노드에서 작업을 실행할하게한다. 사용자 정의 InputFormat을 작성하고 InputFormat.getLocations()을 겹쳐 쓰면 분할을 실행할 노드의 호스트 이름 만 리턴 할 수 있습니다. 그러나 이러한 위치는 MR 프레임 워크에 대한 제안 일 뿐이며 무시할 수 있습니다.

출처

2014-04-30 18:04:10 climbage

Apache Hadoop은 지원하지 않습니다. 그러나이 기능은 MapR 배포판 (1)에서 지원됩니다.

출처

2014-04-30 18:35:23

특정 노드에서 매퍼 작업 실행

답변

관련 문제