는 thusly 히 2 백만 개체 이상 BOTO

Question

내가 반복하고 있습니다 통해 나열하는 S3 버킷을 다시 시작?

Answer 1

나는 boto 소스를보고 알아 냈다.

def list(self, prefix='', delimiter='', marker='', headers=None): 

마커에 key.name을 전달하면 해당 지점에서 작업을 재개 할 수 있습니다.

Answer 2

속성을 사용하여 요청을 다시 시작하는 예입니다.

하위 트리를 거쳐 반복하거나 수백만 개의 개체를 크롤링하고 단일 목록에 포함하지 않으려는 경우에도 유용합니다.

marker = None 
while True: 
    keys = bucket.get_all_keys(marker=marker) 
    last_key = None 

    for k in keys: 
     # TODO Do something with your keys! 
     last_key = k.name 

    if not keys.is_truncated: 
     break 

    marker = last_key