HDF 대 HDP 데이터 저장소

Question

두 개의 클러스터가 있습니다. 하나는 Nifi를 포함한 HDF 클러스터이고 다른 하나는 hdf, Hive 기타 구성 요소가 포함 된 HDP 클러스터입니다. 우리는 파일에서 데이터를 읽고 hdp 클러스터 hdfs에 배치하려고합니다.

은 아무도

Answer 1

NiFi의 PutHDFS 프로세서는 HDFS에 데이터를 쓸 것입니다 사전에 ..이 또는 몇 가지 예에 관한 문서를

감사를 지적 할 수 있습니다. hdfs-site.xml 및 core-site.xml 파일을 사용하여 구성합니다.

때때로 네트워크, 보안 또는 응용 프로그램 구성으로 인해 원격 NiFi에서 Hadoop 클러스터로 파일을 안전하게 기록하기가 어렵습니다. 일반적인 패턴은 두 개의 NiFis를 사용하는 것입니다. 하나의 NiFi는 NiFi site-to-site 프로토콜을 통해 Hadoop 클러스터의 두 번째 NiFi로 전송하기 전에 레코드를 수집, 포맷 및 집계합니다. 두 번째 NiFi는 Hadoop 클러스터 안에 있기 때문에 파일을 HDFS에 안전하게 기록하는 것이 더 쉽습니다.

NiFi Example Dataflow Templates의 PutHDFS 기능은 데이터, 디렉토리 및 파일 이름 집계, NiFi 사이트 간 통신과 같은 일반적인 활동을 보여줍니다.