하나의 S3 Amazon 버킷에서 다른 버킷으로 많은 항목을 이동하는 방법은 무엇입니까?

Question

나는이

• 오래된 배 S3 아마존 버킷 물건
• 새로운 물건

나는 단지 부분 집합이다 Old Stuff 버킷에서 10K 정도 항목의 목록을 (이동하려는 해당 버킷의 데이터)를 New Stuff 버킷에 추가합니다.

이 작업을 수행하는 가장 좋은 방법은 확실하지 않습니다.

나는 REST API을 활용할 생각 이었지만 아무 것도 할 수 없었습니다. 둘째, API가 일괄 처리를 처리 할 수 ​​있는지 확신하지 못합니다. 따라서 10K 홀수 REST API 요청을 효과적으로 차단하는 방법에 대한 제안이 필요합니다.

모든 코드 예제를 선호해야합니다. NET 제발.

마지막으로 누군가가 Open Source 라이브러리에서 제안한 방법을 사용하면 제안한 방법으로 대량 요청을 처리 할 수 ​​있는지 설명해 주시고 그렇지 않은 경우 어떻게하면 짧은 시간에 많은 요청을 처리 할 수 ​​있습니까?

Answer 1

이동 하나입니까?

Cloudberry Explorer 또는 BucketExplorer과 같은 GUI 도구를 사용하지 않는 이유는 무엇입니까? 나는 둘 다 병렬 작업을 할 수 있다고 확신한다.

프로그래밍 방식으로 프로그램을 실행하려는 경우 AWS .NET SDK'sCopyObject 메서드를 사용하여 버킷간에 파일을 복사 할 수 있습니다. 그런 다음 원본 파일을 삭제하여 이동을 완료하십시오. 이것을 Parallel.For 또는 병렬/비동기 작업을 위해 다른 내장 라이브러리에서 감쌀 수 있습니다. Task Parallel Library을 참조하십시오.

나는이 라이브러리를 사용하여 REST API에 여러 요청을 병렬로 보내는 것을 막을 수있는 방법이 없다고 생각합니다.