2013-07-17 2 views
1

첨부 된 EBS 볼륨의 COPY 명령을 사용하여 .csv 파일에서 Amazon EC2에 배포 된 카산드라 클러스터로 데이터를 업로드하고 있습니다. Cassandra 업로드 시간이 .csv 파일의 크기가 증가하면서 매우 심하게 증가하는 것으로 나타났습니다.카산드라 업로드 효율이 향상되었습니다.

카산드라의로드 속도를 높이기 위해 설정을 조정할 수있는 방법이 있습니까?

답변

2

real bulk loader을 사용하십시오. COPY는 수백만 건의 레코드에 적합하지 않습니다.

+0

큰 파일을 2 백만 개의 레코드가있는 파일로 분할했습니다. 나는 2 대의 Cassandra 노드에서 동시에 업로드하려고합니다. 별로 효율적이지는 않지만이 접근법에서 다른 문제를 예견 할 수 있습니까? mysql 데이터베이스의 .csv 내보내기에서 업로드 할 때 SSTableLoader 문제가 발생했습니다. 그러므로 덜 복잡한 것처럼 나는 COPY에 의지했다. – eldho

관련 문제