1
첨부 된 EBS 볼륨의 COPY 명령을 사용하여 .csv 파일에서 Amazon EC2에 배포 된 카산드라 클러스터로 데이터를 업로드하고 있습니다. Cassandra 업로드 시간이 .csv 파일의 크기가 증가하면서 매우 심하게 증가하는 것으로 나타났습니다.카산드라 업로드 효율이 향상되었습니다.
카산드라의로드 속도를 높이기 위해 설정을 조정할 수있는 방법이 있습니까?
첨부 된 EBS 볼륨의 COPY 명령을 사용하여 .csv 파일에서 Amazon EC2에 배포 된 카산드라 클러스터로 데이터를 업로드하고 있습니다. Cassandra 업로드 시간이 .csv 파일의 크기가 증가하면서 매우 심하게 증가하는 것으로 나타났습니다.카산드라 업로드 효율이 향상되었습니다.
카산드라의로드 속도를 높이기 위해 설정을 조정할 수있는 방법이 있습니까?
real bulk loader을 사용하십시오. COPY는 수백만 건의 레코드에 적합하지 않습니다.
큰 파일을 2 백만 개의 레코드가있는 파일로 분할했습니다. 나는 2 대의 Cassandra 노드에서 동시에 업로드하려고합니다. 별로 효율적이지는 않지만이 접근법에서 다른 문제를 예견 할 수 있습니까? mysql 데이터베이스의 .csv 내보내기에서 업로드 할 때 SSTableLoader 문제가 발생했습니다. 그러므로 덜 복잡한 것처럼 나는 COPY에 의지했다. – eldho