2014-11-10 2 views
0

안녕하세요 현재 Dynamousb에서 각 행 행을로드 중입니다.
JAVA API로 DynamoDb에로드하려는 거대한 데이터가 있습니다.
하지만 엄청난 시간이 걸립니다. 예를 들어 1 백만 개의 데이터를로드하는 데 Dynamo에로드하는 데 2 ​​일이 걸렸습니다.DynamoDB에서 일괄로드

DynamoDb에서 일괄로드가 가능합니다. 벌크로드 또는 일괄 처리로드에 대한 정보를 찾지 못했습니다.

여기에서 도움을 청합니다.

+0

http://docs.aws.amazon.com/amazondynamodb/latest : 옵션 트릭 (자세한 내용은 블로그를 참조) 않는 이러한 매개 변수를 사용하여 조정 .. (내가 알고, 그것은 "오래된 skool"입니다) /APIReference/API_BatchWriteItem.html을 사용하여 항목을 일괄 적으로 쓰십시오. –

+0

http://docs.aws.amazon.com/amazondynamodb/latest/APIReference/API_BatchGetItem.html 일괄 읽기 –

답변

0

는 내가 그것을 이전 게시물 알고 있지만, 우리는 짧은이 때문에 과학적 발견 :

http://tech.equinox.com/driving-miss-dynamodb/

길고 그것의 짧은 EMR에 하이브는 우수에 착수 최적화하는 방법을 탐구 와서

SET dynamodb.throughput.write.percent = x; 
SET mapred.reduce.tasks = x; 
SET hive.exec.reducers.bytes.per.reducer = x; 
SET tez.grouping.split-count = x; 
관련 문제