flume

0열

1답변

콘솔 Kafka 제작자에서 Hadoop 파일 시스템 (HDFS)으로 간단한 데이터 파이프 라인을 설정하려고합니다. 나는 64 비트 Ubuntu 가상 머신에서 일하고 있으며, 내가 따라온 가이드에 의해 제안 된 것처럼 Hadoop과 Kafka 모두에 대해 별도의 사용자를 만들었습니다. 콘솔 소비자와 함께 카프카에서 생산 된 자료를 소비하고 HDFS가 가동되고

0열

1답변

내가 받는다는에 대한 다음과 같은 테스트 케이스의 실패는 다음과 같이 구축 한 받는다는 테스트 케이스

실패 실행하는 방법 : Failed tests: testDestinationExistsAndSameFileWindows(org.apache.flume.client.avro.TestSpoolingFileLineReader): Platform not recognized testIncludePattern(org.apache.flume.clien

2열

1답변

작은 파일을 생성하는 flume

flume을 사용하는 로컬 시스템에서 hdfs에서 파일을 이동하려고하지만 내 flume을 실행할 때 많은 작은 파일이 생성됩니다. 내 원본 파일의 크기는 154 - 500KB이지만 내 HDFS에서는 크기가 4-5kb 인 많은 파일을 만듭니다. 나는 수색을하고 rollSize과 rollCount을 변경하면 값이 증가하지만 여전히 동일한 문제가 발생하고 있음을

1열

1답변

flume을 사용하여 평균 활성 웹 사이트를 HDFS로 스트리밍합니다. 그것은 효율적입니까?

우리 조직의 평균 활동 웹 사이트는 평균 약 1000 건입니다. HDFS/Hive에 이러한 로그를 스트리밍 할 계획입니다. 이제는 작은 파일 작업에 대한 HDFS 효율성에 대한 질문이 있습니다. 얼마나 시간이 지나면 파일 크기가 커지는 지 알 수 있습니다. Hadoop은 대용량 파일을 효율적으로 처리합니다. 여러 개의 작은 파일을 프로덕션 hadoop 시스

0열

1답변

아파치 수로 - 카프카 싱크 프로듀서 중복 메시지

우리는 flume-kafka-sink와 이상한 문제를 충족했습니다는 kafka 브로커는 kafka 설명서, producer.sinks.r.request.required.acks = 1에 대한 할당량을 여러 번하고 생산 중복 메시지 (매 50 기록은 동일),하지만 설정을 실패 "이 옵션은 가장 낮은 대기 시간을 제공하지만 가장 약한 내구성을 보장합니다 (서버

0열

1답변

Apache flume과 Apache storm의 차이점은 무엇입니까?

Apache flume과 Apache storm의 차이점은 무엇입니까? 폭풍우를 사용하여 로그 데이터를 Hadoop 클러스터로 가져올 수 있습니까? 두 가지 모두 스트리밍 데이터로 사용되므로 폭풍을 flume 대신 사용할 수 있습니까? 아파치 수로는 스트리밍 많은 양의 데이터를 수집하기위한 서비스입니다

0열

1답변

apache-flume에서 oracle.jdbc.OracleDriver 클래스를로드 할 수 없습니다.

Apache Flume에서 flume-ng-sql-source가 작동하도록 만들려고 노력 중이므로 Oracle DB를 Kafka로 스트리밍 할 수 있습니다. 다음 버전 수로 1.8.0, 수로-NG-SQL 소스를 사용하여 여기에 기본적인 튜토리얼 https://www.toadworld.com/platforms/oracle/w/wiki/11524.streami

0열

1답변

Apache Flume + Hdfs 싱크

HDFS 싱크 용 구분 기호를 추가 할 수 있습니까? 파일이 쓰여지는 시점은 어떻게 기록 분리자를 추가 할 수 있습니까? tier1.sinks.hdfssink.serializer = <your serialization class> tier1.sinks.hdfssink.serializer.delimiter = < your delimiter> 당신은 자세

1열

1답변

FLUME을 사용하여 Hadoop에 데이터 저장

hadoop 설치 및 Flume 튜토리얼의 모든 단계를 수행했습니다. 빅 데이터 도구에 익숙하지 않습니다. 다음과 같은 오류가 발생합니다. 나는 이해가 안된다. 문제는 어디에 있는가? 설치시 많은 게시물을 읽었지만 여전히이 문제에 직면하고 있습니다. 궁극적 인 목적은 R. 17/09/29 02:25:39 INFO node.PollingPropertiesFi

1열

1답변

성장하는 파일을 Apache Kafka 제작자로 사용하고 새로 추가 된 데이터 만 읽는 방법

내 kafka 제작자로 파일을 사용하려고합니다. 원본 파일은 계속 증가합니다 (예 : 초당 20 레코드/줄). 다음은 내 문제와 유사한 게시물은 다음과 같습니다 How to write a file to Kafka Producer 그러나이 경우는 전체 파일은 새 라인이 파일에 삽입 될 때마다 읽고 카프카 항목에 추가됩니다. 새로 추가 된 행만 주제로 보냅니다