Flume NG FileChannel이 매우 느림

Question

나는 flume ng (flume-ng-1.2.0 + 24.81-1 ~ lucid)를 실험 해 왔으며 메모리 채널과 파일 채널의 성능을 비교 해왔다.

내 테스트 시스템의 각 이벤트 크기는 1KB이고 현재 구성으로는 메모리 채널을 사용하여 약 30,000 EPS를 처리 할 수 ​​있습니다. 그러나 파일 채널을 사용할 때는 약 1600 EPS 만 처리 할 수 ​​있습니다.

평균적으로 내 프로덕션 시스템에서 평균 2500 EPS를 수신 할 것으로 예상되며 싱크 오류 발생시 약 1 시간 분량의 이벤트 버퍼링을 제공하는 채널을 사용하고 싶습니다. (HDFS 싱크를 사용하고 있습니다. hadoop 클러스터에 1Gbps 연결).

이 내 파일 채널 구성입니다 :

agent.channels.c1.checkpointDir = ~/.flume/file-channel/checkpoint 
agent.channels.c1.dataDirs = ~/.flume/file-channel/data 
agent.channels.c1.transactionCapacity = 13107200 
agent.channels.c1.checkpointInterval = 30000 
agent.channels.c1.maxFileSize = 9216000000 
agent.channels.c1.minimumRequiredSpace = 524288000 
agent.channels.c1.capacity = 9000000 
agent.channels.c1.keep-alive = 3 
agent.channels.c1.write-timeout = 3 
agent.channels.c1.checkpoint-timeout = 600 
agent.channels.c1.use-log-replay-v1 = FALSE 
agent.channels.c1.use-fast-replay = FALSE 

내 HDFS 싱크의 배치 크기를 설정 한 5000

는 사람이 어떤 권고를 할 수 있습니까의 성능을 향상시킬 수있는 방법에 대한 내 파일 채널?

감사

Answer 1

버전 1.2.0은 매우 이상하다. 현재 릴리스 버전은 1.3.1입니다.

즉, 트렁크는 1.4.0-SNAPSHOT이고 ~ ~은 6 월 말에 릴리스 될 수 있습니다. 나는 그 시간에 FileChannel에 약간의 업데이트가 있었기 때문에 당신이 그 빌드를 사용하여 다시 테스트하기를 원할지도 모른다. (mvn install -Dmaven.test.skip=true은 친구입니다.)

두 번째로, checkpointDir 및 dataDirs를 자신의 디스크에 지정하는 것을 고려 했습니까?