카프카 0.10 복제 성능이 저하되었습니다.

카프카 클러스터를 벤치마킹하려고합니다. 나는 초보자이다. 3 노드 클러스터를 구축합니다. 각 노드에는 하나의 파티션이 있습니다. 기본 브로커 설정을 변경하지 않았습니다. 프로듀서와 소비자 코드를 공식 웹 사이트에서 직접 복사했습니다.카프카 0.10 복제 성능이 저하되었습니다.

복제 1과 파티션 3으로 주제를 만들 때 170MB/초까지 가능했습니다. 처리량. 복제 3 및 parititon 3으로 주제를 만들 때 초당 30MB의 처리량을 거의 볼 수 없습니다.

그런 다음이 링크 https://kafka.apache.org/documentation#prodconfig에 프로덕션 구성을 적용했습니다. 그 결과는 더욱 악화되었습니다.

나에게 경험을 공유 할 수 있습니까?

 
disk type replication insert count one message length elapsed time req per sec concurreny throughput MB 
hdd 1 10,000,000 250 25 400,000 1 95.36743164 
hdd 1 10,000,000 250 28 357,000 2 170.2308655 
hdd 1 10,000,000 250 55 175,000 4 166.8930054 
hdd 1 1,000,000 250 22 45,400 8 86.59362793 
hdd 1 10,000,000 250 22 85,000 8 162.1246338 


hdd 3 1,000,000 250 10 100,000 1 23.84185791 
hdd 3 1,000,000 250 19 55,000 2 26.2260437 
hdd 3 1,000,000 250 30 32,000 4 30.51757813 
hdd 3 1,000,000 250 45 20,000 8 38.14697266 
hdd 3 10,000,000 250 559 18,000 8 34.33227539

출처

2016-10-21 Yılmaz

복제를 늘리면 성능이 저하 될 것으로 예상됩니다. Kafka는 메시지 데이터를 여러 개의 다른 파티션에 복사 할 필요가 없으므로 초기 실행이 매우 좋습니다. 복제 요소를 늘리면 근본적으로 내구성을위한 속도를 얻게됩니다.

출처

2016-10-23 22:22:04

나는 모든 개념을 알고 있습니다. 나는 적어도 70 MB/second를 기대하고 있었다. –

어떤 종류의 하드웨어를 사용하고 있습니까? –

파티션 수를 늘린 후에 성능을 확인하십시오. 처리량이 증가 할 것입니다. 나는 당신이 전에 1로 설정했다는 것을 놓쳤다. –

카프카 0.10 복제 성능이 저하되었습니다.

답변

관련 문제