Dir 's Flume to

Question

/flume/events에서 HDFS로 flume API 또는 java API를 사용하여 하위 디렉토리와 파일 목록을 포함하는 DIR을로드하고 싶습니다. 나는 cloudera cdh5.1을 사용하고 있습니다.

이 점에 대해 제발 도와주세요. 내가 어떻게 섭취/하위 디렉토리와 파일을 포함하는 디렉토리를로드 코딩에 가고 싶습니다. 나는 수로 API를/자바 API를 사전에

감사

Answer 1

당신이 수로 또는 Java를 사용하는 이유가 거기를 사용하여 HDFS에로드 파일에 대한 아이디어가? HDFS에는 로컬 파일 시스템에서 HDFS로 복사하는 유틸리티가 포함되어 있습니다.

$ hdfs dfs -put <localsrc> ... <dst> 

-copyFromLocal 스위치는 동일한 기능을 수행합니다. -moveFromLocal을 사용하면 로컬 파일이 복사 된 후 삭제됩니다.

자세한 내용은 사용

$ hdfs dfs -help 

.