셸 스크립트에서 Hadoop 명령 실행

Question

로그 파일을 Hadoop 클러스터로 이동하는 데 사용하려는 간단한 셸 스크립트가 있습니다.

Java 프로그램에서 셸 스크립트를 호출 할 때 스크립트에서 "Hadoop Commands"를 찾을 수없고 아무런 조치도 취하지 않습니다.

#!/bin/bash 
hadoop fs -put /home/can/workspace2/myWebApp/tweets.txt /user/training/tweetFolder 

가 어떻게 간단한 방법으로이 문제를 해결 할 수 있습니다 : 예를 들어

, 나는 다음과 같은 명령을 실행 하시겠습니까?

Answer 1

저는 이것이 PATH 문제라고 생각합니다. hadoop의 경로를 확인하십시오.

which hadoop 

그런 다음 스크립트에 전체 경로를 입력하십시오.

Answer 2

CDH, HDP 등 일부 실행 파일을 사용하여 Hadoop을 설치 한 경우 작동해야합니다. 그러나 아파치의 tarball을 통한 설정이라면 bin 디렉토리에 모든 실행 파일이 들어 있으므로 bin /와 함께 전체 경로를 사용해야합니다. /home/can/workspace2/myWebApp/tweets.txt/사용자/교육 또한/tweetFolder

저것 집어 넣어

HADOOP_HOME/빈/하둡 FS, 그것은 항상 HADOOP_HOME을 설정하는 것이 좋습니다입니다 변하기 쉬운.