2016-07-10 8 views
1

동일한 가용성 영역에있는 Ec2 인스턴스의 AWS S3 버킷에 저장된 엄청난 양의 이미지를 처리하는 가장 좋은 방법은 무엇입니까?EC2 인스턴스 AWS S3의 데이터 처리

처리해야 할 때마다 이미지를 다운로드하고 완료되면 삭제해야합니까? 그리고 처리 할 때마다 똑같은 작업을 수행해야합니까?

또는 S3 버킷을 EC2 인스턴스에 장착하는 것과 같은 더 좋은 방법이 있습니까? 장착을위한 퓨즈와 같은 도구를 보았지만이 방법이 데이터를 처리하는 가장 좋은 방법인지 확신 할 수 없습니다.

+1

AWS 람다 트리거를 사용하여 이미지를 처리하는 것이 좋습니다. EC2는 EC2와 비교하여 매우 저렴한 비용으로 Amazon에서 관리 할 수 ​​있습니다. 람다는 이미 편집 할 수있는 템플릿을 가지고 있습니다. 또한 이미지를 S3에 저장하는 것이 좋습니다 (엄청난 양의 이미지를 저장하는 데 가장 적합합니다) – Ashan

답변

1

우선. 각 EC2 인스턴스가 종료 될 수 있으므로 데이터와 결과를 적절한 저장소 (예 : S3)에 보관하십시오.

전체 이미지를 메모리로 가져 와서 처리하는 경우. 디스크로 가져올 필요가 없습니다. 반면 이미지가 꽤 큰 경우 - 각 부분을 여러 번 가져올 수 있습니다. 적어도 더 많은 정보를 가지고는 쉬운 대답이 없습니다.

지도 축소 솔루션을 볼 수 있습니다. 처리 단위에 데이터를 가까이 보관하는 방법. 스파크는 기억 속에있는 것들을 처리 할 수 ​​있습니다.

장착 리소스 정보 마운트 할 수있는 Elastic File System 또는 Elastic Block Storage와 같은 다른 옵션이 있습니다.

관련 문제