Google Cloud Storage에서 32 개가 넘는 파일을 병합합니다.

Question

출력용 Google Cloud Storage가있는 Google Compute Engine에서 실행되는 Apache Spark 스크립트가 있습니다. 내 Cloud Storage 폴더에 300 개 이상의 part-00XXX 파일이 있습니다. 나는 그들을 합병하고 싶다.

내가 시도 :

poiuytrez@spark-m:~$ gsutil compose gs://mybucket/data/* gs://mybucket/myfile.csv 

하지만이 오류가있어 모든 논문의 일부 파일을 병합하는 솔루션의

CommandException: "compose" called with too many component objects. Limit is 32. 

어떤 아이디어?

Answer 1

단일 요청으로 32 개의 개체 만 작성할 수 있지만 복합 개체에는 최대 1024 개의 구성 요소가있을 수 있습니다. 특히 0-31의 객체를 0 ', 32-63을 1'등으로 구성 할 수 있습니다. 그런 다음 각 복합 객체는 (0 ', 1', ..., floor (300/32) ').