삭제하지 않고 Kafka 대기중인 메시지를 삭제/정리하는 방법 항목

Question

카프카 항목을 삭제하지 않고 대기열 메시지를 삭제할 수있는 방법이 있습니까?
소비자를 활성화 할 때 대기열 메시지를 삭제하려고합니다. 보존 시간을 재설정

1. $ ./bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic MyTopic --config retention.ms=1000

2. 삭제 카프카가

   $ rm -rf /data/kafka-logs/<topic/Partition_name>

,691을 파일 :

나는이 같은 여러 가지 방법을 알고있다

Answer 1

0.11 이상에서는 bin/kafka-delete-records.sh 명령을 실행하여 메시지를 삭제하도록 표시 할 수 있습니다.

https://github.com/apache/kafka/blob/trunk/bin/kafka-delete-records.sh

예를 들어 다음 새 kafka-delete-records.sh 명령 행 도구를 사용하여 100 개의 메시지 (90)를 삭제 100 메시지

seq 100 | ./bin/kafka-console-producer.sh --broker-list localhost:9092 --topic mytest 

을 게시

./bin/kafka-delete-records.sh --bootstrap-server localhost:9092 --offset-json-file ./offsetfile.json 

곳 offsetfile.json에 포함 된 내용은

입니다.

처음부터 메시지를 사용하여 100 메시지 중 90 개가 실제로 삭제 된 것으로 표시되는지 확인하십시오.

./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic mytest --from-beginning 
91 
92 
93 
94 
95 
96 
97 
98 
99 
100