Kafka의 크기를보기 바이트의 주제

통계를 위해 우리는 모든 파티션과 브로커에서 바이트 단위로 Kafka 토픽의 전체 크기를 확인했습니다.Kafka의 크기를보기 바이트의 주제

나는이 작업을 수행하는 방법에 대해 꽤 많이 조사해 왔으며 가능하다면 어떻게 처리 할 수 있었는지 알아 냈습니다.

우리는 카프카의 V0.82에 있습니다.

retention.bytes이라는 구성이 주제 수준에서 재정의되어야합니다.

예. 당신의 화제가 이미 생성 된 경우 귀하의 경우는, 다음과 같아야합니다 retention.bytes는 파티션별로 적용되기 때문에 전체 디스크 공간이 number of partitions * retention bytes 될 것

bin/kafka-topics.sh --zookeeper localhost:2181 --alter --topic metrics 
--config retention.bytes=1073741824

지불 관심있다.

2017-04-18 15:02:30 serejja

보존 기간 설정 및 내용은 알 수 있지만 주제의 실제 크기는 무엇인지 확인하고 싶습니다. 나는 그것이 가능하지 않을지도 모른다고 생각하고 있으며 데이터 디렉토리를 확인해야 할 것이다. –

아, 미안하지만, 나는 "볼"대신에 "세트"를 잘못 읽었습니다. 나는 그것이 가능하다고 생각하지 않는다. 당신이 할 수있는 최선의 방법은 클러스터 전체에서 모든'logs.dir' 크기를 합산하는 것이다. – serejja

당신은 스크립트를 사용하여 파티션 크기를 볼 수 있습니다 /bin/kafka-log-dirs.sh

/bin/kafka-log-dirs.sh --describe --bootstrap- server : --topic-list

2018-02-22 15:23:27 Martbob

답변