Amazon EMR에서 Azure blob 저장소에 액세스

Question

Amazon EMR의 Spark 클러스터 설정에서 액세스하려는 Azure blob 저장소에 많은 양의 데이터 (~ 20TB)가 있습니다. 이 작업을 수행하는 가장 좋은 방법은 무엇입니까? 이 데이터를 S3로 전송하는 것이 유일한 옵션입니까? 그렇다면이 데이터를 S3로 전송하는 가장 저렴한 방법은 무엇입니까?

감사합니다.

Answer 1

설명에 따르면 약 20TB의 데이터가 Amazon S3로 전송하려고합니다. 나는 아마존에 익숙하지 않다. 그러나 Azure에서는 데이터 전송에 대해 요금이 부과됩니다. 다음은 pricing site입니다. 예를 들어 1GB 당 $ 0.08이 필요합니다. 20 * 1024 * 0.08 = $ 1638.4. 굉장히 비싸다. 다른 접근 방법을 고려해 보시기 바랍니다. 돈에 전혀 신경 쓰지 않는다면 Google에서 도구를 검색하거나 코드를 작성하여이 데이터를 전송하십시오.