HBase와 성능 튜닝

Question

I가 제 6 노드 HBase를 클러스터에 대한 다음과 같은 하드웨어 구성 (1 개 마스터 - 5 노예) 각 노드

2.4 기가 헤르츠 고출력의

구성, 48 코어 인텔 CPU

2백56기가바이트 RAM

의 1Gb/PS 네트워크 연결

30 X SSD 디스크 (JBOD 설정)

012,351,

OS : RHEL 6.6

HBase를 버전 : 1.2.0

CDH 분포 :

hbase.client.write.buffer: 64MB 


hbase.regionserver.handler.count: 64 

master_region_java_heapsize: 125GB 




hbase.client.scanner.caching: 10000 

hbase.hregion.memstore.flush.size: 8GB 


hbase.hregion.max.filesize:100GB 

내가이 설정으로 : 5.7.0

내가 HBase와의 매개 변수 다음 조정했다 250 스레드에서 YCSB를 사용하여 50 % 읽기 및 50 % 쓰기로 85000 IOPS를 얻을 수 있습니다.

누구나 나를 더 많은 IOPS를 생성하는 데 도움이되는 구성 변경을 제안 할 수 있습니까?

Answer 1

설정에 대한 자세한 내용은 도움이 될 것입니다. (배포판, OS, 클러스터 상태, 저장소 등)

또한 목표가 ycsb에서 더 좋은지 확인하십시오.

빠른 구성 (ssd, ramdisk 등)이 있으면 네트워크가 포화 상태라는 느낌입니다.

일반적인 조언으로 저는 기본을 고수합니다. 난 당신이 읽고 희망

:

• 는
• 여기

일부를 도움이 될 내용이다

최적화

를 확인하고 병목 현상을 이해하고 자원 장소에서 좋은 모니터링 되세요 성능에 대한 공식 문서를 통해, 그렇지 않으면 [1].

HBase에 대한 JVM (특히 GC) 조정에 좋은 글이 있습니다. [2] [3] [4]

HDD, SSD 및 RAM 디스크 사이의 아파치 HBase 블로그에서 흥미로운 성능 비교가 있습니다. [5]

[1] https://hbase.apache.org/book.html#performance

[2] http://blog.cloudera.com/blog/2014/12/tuning-java-garbage-collection-for-hbase/ [3] https://software.intel.com/en-us/blogs/2014/06/18/part-1-tuning-java-garbage-collection-for-hbase [4] http://product.hubspot.com/blog/g1gc-tuning-your-hbase-cluster

[5] https://blogs.apache.org/hbase/entry/hdfs_hsm_and_hbase_part

[6] 보너스 비디오! - https://vimeo.com/127778854