Amazon S3 멀티 파트 업로드가 종종 실패합니다.

Question

s3cmd CLI를 사용하여 32GB 파일을 S3 버킷에 업로드하려고합니다. 다중 업로드를하고 있으며 종종 실패합니다. 저는 1000mbps의 대역폭을 가지고있는 서버에서이 작업을하고 있습니다. 그러나 업로드는 여전히 매우 느립니다. 이 속도를 높이기 위해 할 수있는 일이 있습니까?

반면에 파일은 내가 언급 한 서버의 HDFS에 있습니다. Amazon Elastic Map Reduce 작업을 참조하여이 HDFS에서 가져 오는 방법이 있습니까? 여전히 업로드되지만 작업이 실행되고 있습니다. 따라서 전반적인 프로세스가 훨씬 빠릅니다.

Answer 1

처음에는 s3cmd의 Multipart 기능을 사용하지 않았 음을 인정할 것입니다. 그러나 나는 큰 성공 (10-15GB 파일)을 S3에 성공적으로 업로드하기 위해 과거에 boto을 사용 해왔다. 실제로, 그것은 나를 위해 그런 일반적인 일이되었습니다. 나는 쉽게 little utility이라고 썼습니다.

HDFS 질문의 경우 정규화 된 URI (예 : hdfs : // {namenode} : {port}/path/to/files)를 사용하여 언제든지 HDFS 경로를 참조 할 수 있습니다. 여기서는 EMR 클러스터가 보안 그룹 설정으로 작동해야하는 외부 HDFS 클러스터에 액세스 할 수 있다고 가정합니다. 다음 문제가 도움이되는지 확인하려면