Flume - HTTP 소스를 사용하는 다중 에이전트 흐름

Question

나는 flume하는 초보자입니다. 현재 내 단계를 테스트하고 있습니다. 나는 HTTP를 소스로 사용하고 파일 시스템을 싱크 유형으로 사용하고 있습니다. 이제 제 요구 사항은 다중 에이전트 플로우 (2 개의 에이전트)를 설정하는 것입니다. 여기서는 첫 번째 flume 소스에 HTTP 페이로드를 삽입하고 싱크에서 다른 유사한 flume 소스로 데이터를 보내 궁극적으로 파일에 기록해야합니다.

첫 번째 에이전트의 conf 파일에 어떤 유형의 싱크를 지정해야합니까?

Answer 1

flume Avro sink 및 Avro source은 이러한 설정을 위해 특별히 설계되었습니다. 첫 번째 상담원은 Avro 싱크를 사용하여 두 번째 상담원의 Avro 소스로 데이터를 보냅니다 (중요한 구성 매개 변수는 hostname 및 port).