HDFS 시스템으로 파일을 전송하기 위해 Apache NIFI를 사용할 수 있습니까?

Question

그렇다면 기본 단계를 안내해주세요. 페이지를 샅샅이 뒤지고 core-site.xml을 사용하여 가능하다는 것을 알았습니다.

Answer 1

PutHDFS 프로세서를 사용하여 파일을 HDFS 파일 시스템으로 쉽게 전송할 수 있습니다. 당신은 다음과 같은 속성을 지정해야이 프로세서에서 아래 링크. 이것

봐,

https://nifi.apache.org/docs/nifi-docs/components/org.apache.nifi.processors.hadoop.PutHDFS/

는 HDFS에 파일을 전송하기에 충분하다.

1.Hadoop 구성 자료 : 파일

/Hadoop/conf/core-site.xml,/Hadoop/conf/hdfs-site.xml,/Hadoop/conf/yarn-site.xml,/Hadoop/conf/mapred-site.xml 

2.Directory의 -A 파일 또는 쉼표로 구분 된 목록 :

/FilesFromNiFi/ 

3 당신의 HDFS 디렉토리의 위치를 ​​지정합니다. 충돌 전략 : (추가/대체/무시/실패)

예컨대

append 

하면 : 유 HDFS에 로컬 드라이브로부터 파일을 이동해야하는 경우 NiFi 흐름 아래 사용 수단

GetFile-->PutHDFS 

GetFile-->Just give your input directory. 

putHDFS-->Specify your HDFS location 

하면 아래에 대해 UI로 프로세서를 드래그해야

이미지.,

이 두 개의 프로세서를 끌어이 링크를 참조하십시오 GetFi NiFi UI

https://nifi.apache.org/docs/nifi-docs/html/user-guide.html#adding-components-to-the-canvas

http://zdatainc.com/2016/02/hello-nifi-data-orchestration-using-hortonworks-dataflow-hdf/

에 르와 putHDFS 당신이 어떤 문제에 직면하면 알려주세요.