Flume이 트위터에서 HDFS로 데이터를 수집하도록 설정

이 로그 정보를 하루 종일 계속 받고 있습니다.Flume이 트위터에서 HDFS로 데이터를 수집하도록 설정

2016년 10월 12일 21 : 32 : 05696 (conf의 파일 - 폴러-0) DEBUG - org.apache.flume.node.PollingPropertiesFileConfigurationProvider $ FileWatcherRunnable.run (PollingPropertiesFileConfigurationProvider.java:126)] 파일 확인 : 명령 실행시 변경 사항은 conf/flume.conf FLUME_HOME/bin/flume-ng 에이전트 --conf ./conf/ -f conf/flume.conf -Dflume.root.logger = DEBUG, console - N TwitterAgent

스피가의 conf 파일

를 수정 한 후 지금이 오류가 617,451,515,

2016년 10월 12일 22 : 09 : 19592 (lifecycleSupervisor-1-0) DEBUG - com.cloudera.flume.source.TwitterSource.start (TwitterSource.java:124)]이 설정 트위터 샘플 스트림 소비자 키 및 액세스 토큰 사용 2016-10-12 22 : 09 : 19,592 (ERROR - org.apache.flume.lifecycle.LifecycleSupervisor $ MonitorRunnable.run (LifecycleSupervisor.java:253)] EventDrivenSourceRunner를 시작할 수 없습니다. { 출처 : com.cloudera.flume.source.TwitterSource {이름 : Twitter, 상태 : IDLE} } - 예외가 발생합니다. java.lang.IllegalStateException : 소비자 키/비밀 쌍이 이미 설정되어 있습니다.

출처

2016-10-13 valli n

flume.conf 및 정보 로그를 shar 할 수 있습니까? –

이 시도 : http://stackoverflow.com/questions/29094499/getting-checking-flume-conf-for-changes-in-a-loop –

나는 오류 –

지금까지 당신이 제공하는 것을, 당신은 또한 당신이 트위터 API에 액세스하기위한 자격 증명을 사용하고 있는지 확인, 트위터 소스를 정의하기 위해 conf의 파일에 a1.sources.r1.type = org.apache.flume.source.twitter.TwitterSource을 추가 할 필요가 있다고 생각에서 이해 할 수있다.

출처

2016-10-13 08:19:17 Farslan

도움 주셔서 감사합니다. –

Flume이 트위터에서 HDFS로 데이터를 수집하도록 설정

답변

관련 문제