flume

-1열

1답변

Java에서 파일 생성기를 사용하면 HDFS로 이동해야하는 로컬 파일 시스템에 디렉토리 및 파일 스트림이 생성됩니다. 나는 인터넷에서 검색하고 내가 Flume을 사용할 수 있다는 것을 알았지 만, 어떻게하는지 설명하는 자원을 찾지 못했습니다. 이것을 구현하는 방법을 알고 있습니까? 감사합니다 (당신이 환경에 대한 논평에서 언급 한 바와 같이) 내가 같은 기

0열

1답변

flume을 사용하여 Twitter 데이터를 가져 오는 중

Twitter 데이터를 가져 오려고하지만이 오류가 발생합니다. 다른 서비스가 정상적으로 실행되는 동안 java_home이 설정되지 않습니다.

0열

1답변

flume을 통해 트위터 데이터를 가져 오는 중

flume을 통해 트위터 데이터를 가져 오려고했습니다. 내가 만든 트위터 앱은 pntgoswami18이라고하며 설명은 BackToCollege입니다. 필요한 모든 키 및 토큰 교체 작업을 수행했습니다. 그러나이 같은 가져 오기 실행 : bin/flume-ng agent -n TwitterAgent --conf ./conf/ -f conf/flume-twit

1열

1답변

난과 같다 GIS 데이터가 플룸 시리얼

를 사용하여 복합 HBase와의 rowkey 생성 - 둘째 '111, 2011-02-01 20:30:30, 116.50443, 40.00951' '111, 2011-02-01 20:30:31, 116.50443, 40.00951' '112, 2011-02-01 20:30:30, 116.58197, 40.06665' '112, 2011-02-01 20:

0열

1답변

flush가있는 hdfs sink에 kafka 소스를 디버깅하는 데 도움이 필요합니다.

kafka (결국 다른 인스턴스에서 실행중인 kafka를 사용합니다)에서 hdfs로 데이터를 보내려고합니다. hdfs로 데이터를 가져 오려면 flume이나 일종의 섭취 프로토콜이 필요하다고 생각합니다. 그래서 우리는 cloudera의 flume service와 hdfs를 사용하고 있습니다. 이것은 내 flume-conf 파일입니다. 다른 conf 파일이 비

0열

1답변

Flume 구성이 작동하지 않음 예외 표시

followinf flume 구성이 있습니다. 스풀 디렉토리의 flume을 사용하여 hdfs에 9GB 크기의 파일을 전송하려고합니다. 다음과 같은 flume 구성이 있습니다. #initialize agent's source, channel and sink wagent.sources = wavetronix wagent.channels = memoryCha

0열

1답변

Flume은 hdfs 싱크를 사용합니다. hdfs를 사용할 수 없을 때 데이터 무결성을 보장하는 방법은 무엇입니까?

hdfs를 사용할 수없는 경우 데이터 보안을위한 방법이 있습니까? 시나리오는 kafka-source, flume memory-channel, hdfs-sink입니다. Flume 서비스가 중단 된 경우, 복구 된 주제의 파티션 오프셋을 저장할 수 있으며 복구 후 올바른 위치에서 사용할 수 있습니까?

0열

1답변

Flume : 단일 싱크에 로그를 추가하는 여러 소스

단일 시스템의 다른 디렉토리에서 로컬 파일 시스템 파일 또는 HDFS로 로그를 수집하려고합니다. 2 개의 소스 r1, r2를 등록했습니다. 두 소스가 모두 단일 채널 C1을 가리 킵니다. 채널에 연결된 싱크가 하나 있습니다. K1 아래의 구성 파일을 검색 할 수 있습니다 : # Name the components on this agent a1.source

0열

1답변

flume은 여전히 .tmp 파일을 유지하고 파일을 완전히 HDFS로 복사하지 않습니다.

안녕하세요. 저는 파일을 채널로 사용하여 스풀링 디렉토리에서 HDFS로 파일을 복사하는 데 flume을 사용하고 있습니다. 이 HDFS에 파일을 복사 할 수있는 위의 구성하지만 난이 직면하고있는 문제와 #Component names a1.sources = src a1.channels = c1 a1.sinks = k1 #Source details

0열

1답변

flume 명령이 시퀀스 생성기 생성을 위해 멈췄습니다

다음은 내 conf 파일이며 flume start 명령을 실행하면 로그의 아래 단계를 수행 한 후에 응답을 얻을 수 없습니다. 내가 잘못하고 수정하는 방법을 검토하고 도와 주시겠습니까? seq_gen.conf 파일 세부 사항 및 오류 로그 :이 선 후 # Naming the components on the current agent SeqGenAgent.