Apache Flume 다중 에이전트

Question

Apache Flume을 테스트하여 로컬에서 HDFS로 파일을 전송했습니다. 그러나 여러 서버의 소스 파일 (다른 서버의 로컬 HDFS 파일을 전송할 경우)에서 Flume 인스턴스를 하나만 실행하고 flume-conf.properties에 에이전트를 추가 할 수 있습니까? 나는 수로를 실행할 수있는 방법도

agent1.sources.spooldirSource1.spoolDir = ?(server1/path) 
agent2.sources.spooldirSource2.spoolDir = ?(server2/path) 

그리고, : 내가 할 수있는 경우

, 어떻게 flume-conf.properties에서 다음 매개 변수를 편집 할 수 있습니다?

./flume-ng agent -n agent -c conf -f apache-flume-1.4.0-bin/conf/flume-conf.properties 

은 하나의 flume 만 실행할 수 있습니다. 둘 이상은 어떨까요?

Answer 1

필요한 소스를 여러 개 추가하고 동일한 채널을 사용하도록 구성한 다음 동일한 소스를 사용합니다. 따라서 다음과 같이됩니다 (이 스 니펫은 불완전합니다).

agent1.sources.spooldirSource1.spooldir = server1/path 
agent1.sources.spooldirSource1.channel = myMemoryChannel 
agent1.sources.spooldirSource2.spooldir = server2/path 
agent1.sources.spooldirSource2.channel = myMemoryChannel