2
초당 240,000 개의 레코드를 생성하고 csv 파일로 저장합니다. 이제 카산드라에로드하려고합니다.성능 향상 카산드라의 대량로드
sstableloader :
나는 3 가지 방법을 사용하여 우리가 sstable 생성을로드 할 수 sstableloader 명령을 사용하지만,이 방법은 완료하는 데 시간이 오래 걸립니다 초당 행 수는 15,000JmxBulkLoader :이 방법은 sstableloader보다 좋습니다. 행/s의 수는 17,000
사본입니다 : 벌크 및 충돌에 대한 적절하지
시스템 구성 사용했을 때
CPU : 인텔 (R) 제온 (R) CPU의 E5를 -2697 v3 @ 2.60GHz. 56 코어
RAM : 64 G
하드 디스크 :1TB local for cassandra nodes and 10TB in a network drive (data files stored in this hard)
우리는이 기계의 2 개 노드가 있습니다.
감사합니다.
당신이 JMX 말을 정확히 무엇을 의미합니까 -이 :
블로그에서보세요? 당신은 그 주제에 대해서 꽤 많은 정보를 얻은 듯합니다. (jmx가 무엇인지 이해하지 못하는 것 이외에) 당신 자신의 import app을 쓰고 있습니다 ... 이론적으로 당신은 노드에서 직접 sstables를 생성 할 수 있습니다. nodetool 새로 고침,하지만 당신이 설명하는 꽤 많이 (재미있는 질문)하지만 거기에 몇 가지 방법이있을 수도 있습니다 :) (항상) –
나는 CSV 파일에 저장하는 것보다 더 빨리 카산드라에 저장하는 것이 겠지. 내가 할 일은 redis와 같은 캐시 서비스를 사용하고 카산드라에게 레코드를 저장하는 것입니다. – Gunwant
@ MarkoŠvaljek 우리는 자바 드라이버에서 카산드라에 연결하고 카산드라에게 데이터를 보내기 위해 jmx를 사용합니다. –