Flume을 사용한 압축 파일 처리

Question

Flume 1.3.0을 사용하여 모든 유형의 압축 파일 (예 : zip, bzip, lz4 등)을 hdfs로 가져올 수 있습니까? spoolDir을 사용할 계획입니다. 어떤 suggesion하시기 바랍니다.

Answer 1

모든 유형의 파일을 섭취 할 수 있습니다. 적절한 디시리얼라이저를 선택해야합니다.

아래 경로는 압축 파일에 적용됩니다. 당신이 필요로하는 당신은 옵션을 선택할 수 있습니다

agent.sources = src-1 
agent.channels = c1 
agent.sinks = k1 

agent.sources.src-1.type = spooldir 
agent.sources.src-1.channels = c1 
agent.sources.src-1.spoolDir = /tmp/myspooldir 
agent.sources.src-1.deserializer=org.apache.flume.sink.solr.morphline.BlobDeserializer$Builder 

agent.channels.c1.type = file 

agent.sinks.k1.type = hdfs 
agent.sinks.k1.channel = c1 
agent.sinks.k1.hdfs.path = /user/myevents/ 
agent.sinks.k1.hdfs.filePrefix = events- 
agent.sinks.k1.hdfs.fileType = CompressedStream 
agent.sinks.k1.hdfs.round = true 
agent.sinks.k1.hdfs.roundValue = 10 
agent.sinks.k1.hdfs.roundUnit = minute 
agent.sinks.k1.hdfs.codeC = snappyCodec 

Answer 2

당신은 소스에서 압축 파일을 떠나이 HDFS에 섭취되었을 때 데이터를 압축 수로에서 제공하는 압축 알고리즘을 사용할 수 있습니다. Avro 소스 및 싱크는 압축을 지원하며 사용하려는 경우에도 압축을 지원합니다.

Answer 3

사용자 지정 원본 구성 요소를 작성하여 해결했습니다. 사용자 지정 원본을 사용하여 모든 종류의 파일을 가져올 수 있습니다.