flume

0열

1답변

flume 파일 크기에 따라 롤링 할 때 데이터를 hdfs로 복사하는 데 시간이 걸릴 때

flume을 사용하여 hdfs에 원격 파일을 복사하려는 경우가 있습니다. 또한 복사 된 파일을 HDFS 블록 크기 (128MB/256MB)와 정렬해야합니다. 원격 데이터의 총 크기는 33GB입니다. 원격 데이터를 hdfs로 복사하는 데 avro source와 sink를 사용하고 있습니다. 마찬가지로 싱크 쪽에서 나는 파일 크기 롤링 (128,256)을하고있

0열

2답변

Flume으로 구조화 된 스트리밍

안녕하세요 누구든지 구조화 된 스트리밍을위한 새로운 API를 사용하여 flume 스트림을 읽는 방법을 알려줄 수 있습니다. 예 : 스파크 2.1로 val lines = spark.readStream.format("socket").option("host", "localhost").option("port", 9999).load()

0열

1답변

KafkaSink가없는 Flume KafkaChannel?

Flume 소스에서 Kafka 주제로 쓰려고합니다. 카프카 채널 수로에서이 Cloudera post 저자가 카프카 채널이 추가 버퍼링없이 직접 수로 소스의 카프카에 쓰려면 을 사용할 수 있다는 것을 말한다. 구성 요소 tier1.sinks을 : 속성 값이 누락 는하지만 내 구성 수로에서 싱크를 제외려고 할 때하면이 구성을 확인하는 동안 오류가 발생 말한다.

0열

1답변

Flume에서 hdfs 파일에 스트리밍 로그 데이터를 추가하는 방법은 무엇입니까? 누구나 MR 소스 코드를 사용하여 데이터를 파일에 추가 할 수 있습니까?

Flume을 사용하여 hdfs에 스트리밍 데이터를 추가해야합니다. 기존 로그 파일을 덮어 쓰지 않고 스트리밍 데이터를 hdfs의 기존 파일에 추가해야합니다. 같은 MR 코드에 대한 링크를 제공해주십시오.

0열

1답변

Apache Flume에서 교차 출처 자원 공유 활성화

기본적으로 포트 8080을 통해 Flume 서버에 연결하는 웹 페이지를 개발 중입니다. 클라이언트가 새로운 청원서를 보낼 때마다 HTTP 소스가 403 Forbidden 오류를 발생시킵니다. OPTIONS 요청을 처리하는 방법을 알지 못합니다. CORS를 사용하는 방법에 대한 Apache Flume의 설명서에는 구체적인 언급이 없습니다.

1열

1답변

flume을 사용하는 비 "UTF-8"파일 수집 문제 - Spooldir 유형

내 flume 스풀 디렉토리에 "UTF-8"이 아닌 파일이 있습니다. 그래서 수집하려고 할 때 Java.nio.charset.MalformedInputException 오류가 발생합니다. .conf 파일의 인코딩 옵션을 변경하면 오류가 발생합니다. 그리고 spooldir 유형을 사용해야합니다. "UTF-8"이 아닌 파일을 어떻게 수집 할 수 있습니까? en

0열

1답변

Flume HDFS 싱크는 netcat 소스를 사용하여 한 줄의 데이터 소스 만 저장합니다.

Flume 1.7을 사용하여 HDFS로 데이터를로드하려고합니다. # Starting with: /opt/flume/bin/flume-ng agent -n Agent -c conf -f /opt/flume/conf/test.conf # Naming the components on the current agent Agent.sources = Netcat

0열

1답변

롤오버 크기를 150MB로 설정하면 몇 초마다 플러시 메시지가 표시됩니다.

flume을 사용하여 카프카에서 HDFS로 데이터를 이동하기위한 파이프 파이프 라인을 만들었습니다. rolloverSize를 150MB로 설정 했으므로 롤오버가 올바르게 적용됩니다. 그러나 메시지가 HDFS 파일에 자주 쓰이기를 원합니다. 즉, 현재 메시지는 버퍼에 보관되고 크기가 150MB에 도달하면 플러시됩니다. 기본적으로 거의 실시간으로 HDFS에 기

0열

1답변

파일이 HDFS에서 닫힌 경우

flume의 HDFS 싱크를 통해 HDFS에 쓸 때 몇 가지 문제가 있습니다. 나는 이것이 IO 타임 아웃 때문에 발생한다고 생각하지만 확실하지 않다. 오랫동안 쓰기 위해 열린 파일로 끝나고 "LocatedBlock {...}에 대한 블록 길이를 얻을 수 없습니다"라는 오류 메시지가 나타납니다. 임대 계약을 명시 적으로 복구하면 수정 될 수 있습니다. 나는

0열

1답변

국소의 화기 설치

로컬 컴퓨터에서 flume 설치를 할 수 있습니까? 클러스터 환경에서 flume에 대한 설정 가이드 만 표시됩니다. 나는 설치류를 설치해야하고 그것을 morphline과 통합해야합니다.