요구 사항을 명확하게 설명하지는 않았지만 다음 달에 5 분마다 600 개의 이미지를 다운로드해야한다고 가정합니다. 본인의 경우 파일 시스템에 이미지를 직접 읽고 쓰는 NoSql API (예 : MongoDB)를 찾고 여러 이미지를 한 번에 병렬 처리하는 기능을 제공하기 위해 대기열 API (예 : Gearman)를 구현했습니다.
기본적으로는 다음과 같이 작동합니다 :
- 당신이 페이로드를 처리하는 직원을 지정는 "페이로드"
- 로, 이미지의 URL을 대기열에
- 입력을 필요로 이미지 컬. NoSQL API를 통해 결과 이미지를 다운로드, 크기 조정 및 저장하는 작업이 포함됩니다.
이 솔루션을 사용하면 5 분마다 cron을 수행 할 수 있으며 큐잉 API가 똑똑하면 중복 항목이 없는지 확인할 수 있습니다. 이전 작업에서 끝나지 않은 cron에 대해 걱정할 필요가 없습니다. 단지 작업이 대기열에 항목을 추가하는 것뿐입니다.
또한 하드웨어 설정에 따라 작업자 수를 늘릴 수 있으므로 RAM 또는 CPU가 많지 않은 경우 작업자 제한을 2로 설정하고 확장/축소 할 때 작업자 수를 늘릴 수 있습니다. 근로자 한도에 따라.
또 다른 고려 사항은 이미지가 NFS와 같은 네트워크 파일 시스템 또는 GlusterFS을 고려해야하는 httpd 서비스 외부의 다른 서버에서 액세스되어야하는 경우입니다.
처음에는 더 많은 작업이 필요하지만이 유형의 작업을 처리하는 데 더 긴 저장 수명을 제공합니다.
이미지는 무엇입니까? 어디에서? 어떤 목적으로 사용 되었습니까? –
xml 피드의 이미지 - affiliate site - – webmasters
솔루션을 찾으려고 시도하기 전에 병목 현상이 발생한 위치를 파악해야한다고 생각합니다. –