flume gzip 파일 전송

Question

gzip 파일을 hdfs로 전송하고 싶습니다. 내가 탐색하고있는 옵션은 spooldir입니다. spooldir의 원격 위치를 지정하는 데 문제가 있습니다. 제안 사항은 다음과 같습니다.

agent1.sources = src-1 
agent1.channels = c1 
agent1.sinks = k1 

agent1.sources.src-1.type = spooldir 
agent1.sources.src-1.channels = c1 
agent1.sources.src-1.hostname = ipaddress 
agent1.sources.src-1.spoolDir = /var/logs/webserver 
agent1.channels.c1.type = memory 

agent1.sinks.k1.type = hdfs 
agent1.sinks.k1.channel = c1 
agent1.sinks.k1.hdfs.path = hdfspath 
agent1.sinks.k1.hdfs.fileType = CompressedStream 
agent1.sinks.k1.hdfs.round = true 
agent1.sinks.k1.hdfs.roundValue = 10 
agent1.sinks.k1.hdfs.roundUnit = minute 

Answer 1

flooling 디렉토리 소스는 flume이 실행중인 로컬 시스템의 디렉토리를 가리켜 야합니다. 이 행은 스풀링 디렉토리 소스에 대한 유효한 옵션이 아닙니다.

agent1.sources.src-1.hostname = ipaddress