많은 매뉴얼에서 Hadoop 배포판에있는 hadoop 쉘 스크립트를 사용하여 Hadoop에 작업을 제출하는 방법이 있습니다. 여기서 볼 수 있듯이 이것은 사이트 설정에서 마스터 노드를 구성하여 클라이언트 호스트에 전체 Hadoop 에코 시스템을 설치하는 것을 의미합니다.클라이언트에서 Hadoop 런타임을 사용하지 않고 Hadoop에 작업 제출하기
클라이언트에 Hadoop을 설치하지 않고 다른 작업을 제출할 수있는 다른 방법이 있습니까?
Hadoop은 Hadoop을 설치하지 않고도 원격 클라이언트에서 작업을 제출하는 것을 멈추지 않습니다. 동일한 네트워크를 공유하는 모든 시스템을 사용하여 작업을 제출할 수 있습니다. 클라이언트는 작업을 제출하는 것보다 더 할 일이 없으며 작업이 끝날 때까지 기다려야합니다.
그렇긴해도 여러 가지 방법이있을 수 있습니다. 한 가지 방법은 코드를 IDE, Eclipse 등을 통해 직접 실행하는 것입니다. 그러나, 당신은
conf.set("fs.default.name", "hdfs://NN_HOST:9000");
conf.set("mapred.job.tracker", "JT_HOST:9001");
또 다른 방법은 필요한 모든 바이너리와 지방 항아리를 작성하는 것, 클러스터에 IDE를 가리 키도록해야합니다. 항아리를 JT 머신에 복사하고 실행하십시오.