여러 로컬 폴더를 hadoop mapreduce 작업에서 소스로 사용

Question

여러 로컬 폴더에/usr/bigboss/data1,/usr/bigboss/data2 및 더 많은 폴더가 있습니다. MapReduce 명령의 입력 소스로이 모든 폴더를 사용하고 HDFS에 결과를 저장하려고합니다. Hadoop Grep 예제를 사용하는 작업 명령을 찾을 수 없습니다.

Answer 1

grep 예제로 데이터를 처리하려면 데이터가 HDFS에 있어야합니다. 당신은 이것 저것 집어 넣어 FsShell 명령을 사용하여 HDFS에 폴더를 업로드 할 수 있습니다 :

현재 사용자 HDFS 디렉토리에 폴더를 생성하고

이제 당신이해야에 데이터의 각 디렉토리를 업로드합니다

hadoop fs -mkdir bigboss 
hadoop fs -put /usr/bigboss/data* bigboss 

데이터 위에 grep 예제를 실행할 수 있습니다.