flume을 사용하여 싱크대에서 필수 형식으로 데이터 로깅

내 프로젝트에 요구 사항이 있습니다. flume을 사용하여 로그 데이터를 수집해야하며 그 데이터는 하이브 테이블에 공급되어야합니다.flume을 사용하여 싱크대에서 필수 형식으로 데이터 로깅

내 요구 사항은 spooldir을 사용하여 hdfs에 폴더에있는 파일을 수집하는 것입니다. 이 파일을 처리하고 하이버 폴더에 출력을 배치하여 데이터를 즉시 쿼리해야합니다.

hdfs에있는 데이터가 이미 필요한 형식으로 처리되는 방식으로 싱크를 사용하여 원본 파일을 처리 할 수 있습니까? , plugin.d에 놓으/다음 HDFS 싱크의 구성에 추가 -

덕분에, 사티시는

아래의 구성을 사용하는 것이 나의 목적이었습니다.

source.type = SPOOLDIR source.spooldir = $ {위치}

2014-01-16 13:14:39

2013-12-23 20:53:22 harishreedharan

는 사실은 매우 비슷한 일을 내가 겪은 여행을 공유하기로 결정했습니다. 바라건대, 거기에서 유용한 것을 찾을 수있을 것입니다. 모든 세부 사항이 공개되고 GitHub에 코드가있는 완전한 예입니다.

2014-02-11 15:39:24 user2836591

답변