Kafka Streams - 상태 저장소 삭제/지우기

Question

내 kafka-streams DSL의 끝에 Transformer 사용자 지정이 있으며 영구 변경 로그 KeyValueStore이 바인딩되어 있습니다.

몇 주 전부터 상점에 너무 많은 데이터를 넣었습니다. 이제는 응용 프로그램을로드 할 때마다 너무 많은 RAM을 먹습니다.

그러나 응용 프로그램 자체는 단지 프로토 타입이므로 저장소를 완전히 지우는 데는 신경 쓰지 않아도됩니다.

kafka.application.id과 state-store-name의 이름을 바꿀 수 있지만 임시 해결 방법이며 해당 데이터/주제는 삭제되지 않습니다.

어떻게 완전히 삭제합니까?

Answer 1

플루의 documentation recommends는) KafkaStreams.cleanUp를 (사용하거나 수동으로 /var/lib/kafka-streams/<application.id> (구성 매개 변수 state.dir)에서 디렉토리를 삭제하는 방법 중 하나.

당신은 또한 special reset tool의 사용과 응용 프로그램에서 사용하는 모든 항목을 재설정해야 - bin/kafka-streams-application-reset을 :

bin/kafka-streams-application-reset --application-id my-streams-app \ 
            --input-topics my-input-topic \ 
            --intermediate-topics rekeyed-topic 

이 post을 상태를 재설정에 대한 매우 흥미로운 일이다.