Flume 및 sqoop 제한

Question

다른 컴퓨터에 테라 바이트의 데이터 파일이 있습니다. 일부 처리를 위해 중앙 집중식 시스템에서 수집하려고합니다. flume을 사용하는 것이 좋습니다.

같은 양의 데이터가 RDBMS에 hdfs에 넣고 싶습니다. sqoop을 사용하여 데이터를 trasffer로 전송하는 것이 좋습니다. 대안이 아닌 경우

Answer 1

RDBMS에서 HDFS로 수 테라 바이트를 전송하는 데 Sqoop을 사용하는 것이 좋습니다. 이것은 Sqoop의 의도 된 사용 사례이며 신뢰할 수 있습니다.

Flume은 대부분 스트리밍 데이터 용이므로 파일에 이벤트가 있고 새 파일을 자주 가져 오는 경우 Spooling Directory 소스가있는 Flume이 작동 할 수 있습니다.

그렇지 않으면 "HDFS -put"이 파일을 HDFS로 복사하는 좋은 방법입니다.