Hadoop의 외부/jar 파일은 어디에 저장되어 있습니까?

Question

WordCount 예제를 작성한 다음 이클립스 프로젝트에서 MyJar.jar과 같은 외부 jar 파일을 포함한다고 가정하자. 지금은 word.jar 파일로 전체 단어 수 프로젝트를 내보낼 경우, 다음

$> hadoop jar word.jar WordCount input output 

내가 작업이 실행하고 word.jar이 MyJar.jar 파일이 포함 된 lib 디렉토리에있을 것이라는 점을 이해 입력합니다. 이제 HDFS에서이 jar 파일의 메소드를 호출하는 작업이 실행 중일 때이 jar 파일 MyJar 파일이 어디에 저장됩니까?

Answer 1

bin/hadoop 스크립트는 실제로 work.jar 파일을 로컬 파일 시스템의 tmp 폴더에 압축을 풉니 다.

작업 클라이언트는 원래 jar, 모든 lib jar 및 기타 작업 파일 (예 : job.xml, 분산 캐시 파일 등)이 업로드되는 HDFS에서 작업 폴더 생성을 처리합니다.

작업이 클러스터 노드에서 실행되면 이러한 파일은 해당 노드의 로컬 파일 시스템에있는 tmp 작업 디렉토리로 다시 복사됩니다. 효율성을 위해 파일은 해당 노드에서 실행되는 각 맵 작업 대신 한 번만 복사됩니다.