Flume은 hdfs 싱크를 사용합니다. hdfs를 사용할 수 없을 때 데이터 무결성을 보장하는 방법은 무엇입니까?

Question

hdfs를 사용할 수없는 경우 데이터 보안을위한 방법이 있습니까? 시나리오는 kafka-source, flume memory-channel, hdfs-sink입니다. Flume 서비스가 중단 된 경우, 복구 된 주제의 파티션 오프셋을 저장할 수 있으며 복구 후 올바른 위치에서 사용할 수 있습니까?

Answer 1

일반적으로 (기본 구성으로) kafka는 모든 소비자에 대해 주제 오프셋을 저장합니다. 같은 그룹 id (소비자 속성 중 하나)로 flume 소스를 시작하면 kafka는 소스의 오프셋에서 바로 메시지를 보내기 시작합니다. 그러나 이미 카프카에서 읽고 메모리 채널에 저장된 메시지는 HDFS 싱크 오류로 인해 손실됩니다.