2011-08-16 4 views
2

Hector의 배치 돌연변이에 대한 장단점을 강조하고 Hadoop 작업을 사용하여 Cassandra에 데이터를로드 할 수 있습니까?헥터 배치 돌연변이 대 Hadoop 작업을 사용하여 카산드라에 데이터를로드 하시겠습니까?

mutator.addInsertion(...); 
mutator.execute(); 

그리고 하둡 당신이 카산드라로 데이터를로드하기 위해 MR 작업을 사용할 수 있습니다

나는 헥터에서 다음과 같은 작업을 수행 할 수 있습니다 알고 있습니다.

나는 그 (것)들을 사용하거나 사용하지 않을 이유를 찾고있다. 감사!

답변

2

데이터 소스가 현재 hadoop (또는 hbase)에없는 경우 움직이는 부분의 수를 줄이기 위해 위의 Mutator를 사용하는 멀티 스레드 로더 만 권장합니다.

이 요점

이 일자,하지만 접근 방식은 유사하다 : https://gist.github.com/397574

당신이 세부 사항을 더 원하는 경우 알려주세요.

+0

감사합니다. zznate. 그것에 대해 더 자세히 알고 싶습니다. 지금 당장은 CSV를로드하기 위해 직선적 인 mutator.addInsertion()을 사용하고 있습니다. 멀티 스레드 섹션을보고 싶습니다. hadoop 작업을 사용하려고 생각한 이유는 [mumakil] (https://github.com/Ganglion/mumakil/blob/master/src/mumakil/load/LoadTable.java)을 보았 기 때문입니다. 그러나 그 해결책은 단지 정규적인 돌연변이 체와 같이 좀 더 복잡해 보입니다. – max

관련 문제