로그를 HDFS에 쓰는 flume-ng가 있습니다.
하나의 노드에서 하나의 에이전트를 만들었습니다.
그러나 실행되지 않습니다.
구성이 있습니다.
flume-ng에서 유형이 HDFS 인 싱크를 만들 수 없습니다.
#의 example2.conf : 단일 노드 수로 구성
# 이름이 에이전트의 구성 요소 agent1.sources
=
SOURCE1 agent1.sinks sink1 =
= agent1.channels 채널 1
#은/구성 소스 1
agent1.sources.source1.type = 브로을 설명
,363,210 agent1.sources.source1.bind = localhost를
agent1.sources.source1.port = 41414
# 메모리에 이벤트
agent1.channels.channel1.type = 메모리
agent1 버퍼 채널을 사용합니다. channels.channel1.capacity = 10000
agent1.channels.channel1.transactionCapacity = 100
#이 설명 sink1
agent1.sinks.sink1.type = HDFS
agent1.sinks.sink1.hdfs.path = HDFS : //dbkorando.kaist.ac.kr 9000/플룸
# 소스 바인딩과 채널을 agent1.sources.source1.channels
=
agent1.sinks.sink1.channel 채널 1 채널 1 =
싱크 내가 명령
flume-ng agent -n agent1 -c conf -C /home/hyahn/hadoop-0.20.2/hadoop-0.20.2-core.jar -f conf/example2.conf -Dflume.root.logger=INFO,console
4. 결과
입니다 HDFS 액세스
+ 간부 /usr/java/jdk1.7.0_02/bin/java 위해 (/home/hyahn/hadoop-0.20.2/bin/hadoop)를 통해 발견 하둡 라이브러리 포함 : 정보
-Xmx20m -Dflume.root.logger = 정보, 콘솔 -cp '/etc/flume-ng/conf:/usr/lib/flume-ng/lib/*:/home/hyahn/hadoop-0.20.2/hadoop- 0.20.2-core.jar '-Djava.library.path = :/home/hyahn/hadoop-0.20.2/bin /../ lib/native/Linux-amd64-64 org.apache.flume.node.Application -n agent1 -f conf/example2.conf
2012-11-27 15 : 33 : 17,250 (main) [정보 - org.apache.flume.lifecycle.LifecycleSupervisor.start (LifecycleSupervisor.java:67)] 라이프 사이클 관리자를 시작하는 중입니다. 1
2012-11-27 15 : 33 : 17,253 (main) [INFO-org. apache.flume.node.FlumeNode.start (FlumeNode.java:54)] 노드 시작 flume - 2012-11-27 15:33:17,257 (lifecycleSupervisor-1-1) [정보 - org.apache.flume. conf.file.AbstractFileConfigurationProvider.start (AbstractFileConfigurationProvider.java:67)] 구성 제공자 시작
2012-11-27 15 : 33 : 17,257 (lifecycleSupervisor-1-0) [정보 - org.apache.flume.node.nodemanager. DefaultLogicalNodeManager.start (DefaultLogicalNodeManager.java : 203)] 노드 관리자 시작
2012-11-27 15:33:17,258 (lifecycleSupervisor-1-0) [정보 - org.apache.flume.lifecycle.LifecycleSupervisor.start (LifecycleSupervisor.java:67)] 시작 중 lifecycle supervisor 9
2012-11-27 15:33:17,258 (conf-file-poller-0) [정보 - org.apache.flume.conf.file.AbstractFileConfigurationProvider $ FileWatcherRunnable.run (AbstractFileConfigurationProvider.java:195)] 다시로드 구성 파일 : conf/example2.conf
2012-11-27 15 : 33 : 17,266 (conf-file-poller-0) [정보 - org.apache.flume.conf.FlumeConfiguration $ AgentConfiguration.addProperty (FlumeConfiguration.java : 988)] 처리 : sink1
2012-11-27 15 : 33 : 17,266 (conf-file-poller-0) [정보 - org.apache.flume.conf.FlumeConfiguration $ AgentConfiguration.addProperty (FlumeConfiguration.java:988)] 처리 중 : s ink1
2012-11-27 15:33:17,267 (conf-file-poller-0) [INFO - org.apache.flume.conf.FlumeConfiguration $ AgentConfiguration.addProperty (FlumeConfiguration.java:988)] 처리 중입니다. sink1 2012-11-27 15 : 33 : 17,268 (정보 - org.apache.flume.conf.FlumeConfiguration $ AgentConfiguration.addProperty (FlumeConfiguration.java:902)] 추가 된 싱크 : 싱크 1 에이전트 : agent1
2012-11-27 15:33:17,290 (정보 - org.apache.flume.conf.FlumeConfiguration.validateConfiguration (FlumeConfiguration.java:122)) 유효성 검사 후 처리 flume 구성에 다음이 포함됩니다. 에이전트 구성 :
2012-11-27 15 : 33 : 17,290 (conf-file-poller-0) [정보 - org.apache.flume.conf.properties.PropertiesFileConfigurationProvider.loadChannels (PropertiesFileConfigurationProvider.java:249))] Cre ating 채널
2012-11-27 15 : 33 : 17,354 (conf-file-poller-0) [정보 - org.apache.flume.instrumentation.MonitoredCounterGroup. (MonitoredCounterGroup.java:68)] 유형에 대한 모니터 카운터 그룹 : CHANNEL, 이름 : channel1, 성공적으로 등록되었습니다.
2012년 11월 27일 15 : 33 : 17355 (conf의 파일 - 폴러-0) [INFO - org.apache.flume.conf.properties.PropertiesFileConfigurationProvider.loadChannels (PropertiesFileConfigurationProvider.java:273)] 생성 된 채널 채널 1
2012 년 11 월 27 일 15 : 33 : 17,368 (정보 - org.apache.flume.instrumentation.MonitoredCounterGroup. (MonitoredCounterGroup.java:68)) 유형에 대한 카운터 그룹 카운터 : SOURCE, name : source1, 성공적으로 등록되었습니다.
2012-11-27 15 : 33 : 17,378 (정보 저장소 - org.apache.flume.sink.DefaultSinkFactory.create (DefaultSinkFactory.java:70)) 싱크 인스턴스 생성 중 : sink1, 타입 : 위와
HDFS
'-C' 인수는 무엇을 사용하고 있습니까? –