카프카 스트림 0.9.1.0-cp1에서 개별 주제 소비량 제어 비율은?

Question

조인과 관련된 Kafka Streams 응용 프로그램을 사용하여 카프카 (Kafka) 주제의 데이터를 백프 린 처리하려고합니다. 조인 할 스트림 중 하나는 해당 주제에서 시간당 데이터 양이 훨씬 큽니다. 개별 주제의 소비를 제어하여 하나의 주제에서 대략 동일한 이벤트 시간 소인을 단일 consumer.poll()에 얻고 싶습니다. 그러나 소스 스트림을 백업하는 동작을 제어 할 수있는 방법이없는 것처럼 보입니다. 이 주위에 어떤 방법이 있습니까? 모든 통찰력은 인정 될 것이다.

Answer 1

현재 카프카는 제작자와 소비자 모두에서 속도 제한을 제어 할 수 없습니다. https://cwiki.apache.org/confluence/display/KAFKA/KIP-13+-+Quotas

을하지만 당신은 스트림 프로세싱 플랫폼으로 아파치 스파크를 사용하는 경우, 당신은 카프카 수신기의 입력 속도를 제한 할 수 있습니다

을 참조하십시오.