s3 서버에서 매시간 100 개의 최신 파일을 다운로드해야합니다.s3- boto- 업로드 시간별 버킷 내 파일 목록 표시
bucketList = bucket.list(PREFIX)
위의 코드는 파일 목록을 생성하지만 파일 이름별로 나열되기 때문에 파일의 업로드 시간에 의존하지 않습니까?
파일 이름으로 아무 것도 할 수 없습니다. 무작위로 주어집니다.
감사합니다.
s3 서버에서 매시간 100 개의 최신 파일을 다운로드해야합니다.s3- boto- 업로드 시간별 버킷 내 파일 목록 표시
bucketList = bucket.list(PREFIX)
위의 코드는 파일 목록을 생성하지만 파일 이름별로 나열되기 때문에 파일의 업로드 시간에 의존하지 않습니까?
파일 이름으로 아무 것도 할 수 없습니다. 무작위로 주어집니다.
감사합니다.
목록의 크기는 어느 정도입니까? 당신은 당신의 목록이 거대한이면 'LAST_MODIFIED'키
orderedList = sorted(bucketList, key=lambda k: k.last_modified)
keysYouWant = orderedList[0:100]
의 ATTR이 효율적이지 수의 목록을 정렬 할 수 있습니다. boto.s3.bucket.Bucket의 list() 함수에 대한 인라인 문서를 확인하십시오.
작업 설명서를 읽으면서 개체가 항상 사전 순 (개체 키 별)으로 나열되어 있음을 알 수 있습니다.
각 개체의 생성 시간을 개체 키로 인코딩하면 원하는 것을 얻을 수 있습니다.