특정 날짜에 업로드 된 S3 버킷의 모든 파일을 어떻게 다운로드합니까?

Question

수백만 개의 파일이있는 S3 버킷이 있습니다. CloudTrail (CloudTrail 로그)에 의해 생성 된 파일입니다. 특정 날짜에 업로드 된 파일 만 다운로드하는 Python 스크립트를 작성하고 싶습니다. 이미 다운로드 코드가 작동 중입니다. 문제는 아닙니다. 문제는 특정 날짜에 생성/업로드 된 파일의 하위 집합 만 다운로드하는 방법입니다.

이것은 매우 직설적 인 사용 사례처럼 보입니다. S3 API가 이것을 지원하지 않는다는 사실에 놀랐습니다.

Answer 1

S3 개체의 '마지막으로 수정 한 날짜'속성을 사용하여 특정 날짜를 기준으로 필터링 할 수 있습니다. 다음은 Java API를 사용하는 예입니다.

ObjectListing listing = s3Client.listObjects('my_bucket_name'); 
List<S3ObjectSummary> objectSummaries = listing.getObjectSummaries(); 

for(S3ObjectSummary s3ObjectSummary: objectSummaries) { 
    if(s3ObjectSummary.getLastModified().equals(today) { 
    //download this file 
    s3Client.getObject('my_bucket_name', s3ObjectSummary.getKey()); 
    } 
}