AWS S3 Gzip 매우 느림

Question

저는 S3 인스턴스에 앉아있는 200GB의 큰 파일을 가지고 있으며,이를 일부 지역별로 이동하여 일부 작업을 수행 할 생각입니다. 내 생각은 파일을 먼저 gzip 한 다음 S3에 대한 IO 비용을 줄이고 시간을 절약하기 위해 로컬 컴퓨터로 scp를 보내는 것입니다.

그러나 S3의 gzip 단계는 오래되었습니다. 제 생각에 S3가 실제로 큰 디스크이고, 어떻게 든 데이터가 실제로 EC2로 다시 흐르고 나서 S3으로 돌아가고 IO가 너무 많은 시간을들입니다.

어떻게 그 문제를 해결할 수 있을지 궁금합니다.

Answer 1

S3는 실제로 큰 디스크가 아닙니다. 하나처럼 보일 수있는 레이어가 있지만 궁극적으로 하나처럼 작동하지 않습니다. 디스크로 s3을 사용하여 블록을 읽고 쓰면 전체 객체를 읽고 쓸 수 있습니다.

나는 당신이 s3fs (파일을 로컬로/tmp에 복사) 작업을하기 전에이 작업을 시도하고 있다고 생각합니다.