2
매 시간마다 S3에 파일을 쓰려면 10K 개의 파일이 있어야합니다. 어떻게 병렬로이 작업을 수행 할 수 있습니까?어떻게 s3에 파일을 병렬로 작성 하시겠습니까? 즉 순차적으로 직렬화되지 않음
A
답변
1
다중 스레드를 사용하거나 EventMachine을 S3 드라이버와 함께 사용해보십시오. 파일 크기에 따라 초당 약 3 개의 파일 처리량이 필요합니다. HTTP keep-alive를 사용하여 각 파일 사이에 다시 연결하지 않도록하십시오.
관련 문제
- 1. N 서비스 버스 메시지가 순차적으로 들어오지 않음 (즉, 전송 됨)
- 2. Oracle에서 DMS를 병렬로 실행 (즉, UPDATE 쿼리)
- 3. OpenGL 모델을 병렬로 빌드 하시겠습니까?
- 4. 순차적으로 완료되지 않을 수도있는 마일스톤을 병렬로 개발하는 방법은 무엇입니까?
- 5. PHP에서 .htaccess 파일을 작성 하시겠습니까?
- 6. 배치 파일을 순차적으로 실행
- 7. BDB에서 병렬로 여러 파일을 찾아보세요
- 8. 개미는 web.xml에 파일을 병렬로 저장합니다.
- 9. PATH에서 요소를 제거하려면 .bat 또는 .cmd 파일을 어떻게 작성 하시겠습니까?
- 10. 'pass through'php를 amazon의 s3에 업로드 하시겠습니까?
- 11. 어떻게 PHP로 URL을 다시 작성 하시겠습니까?
- 12. htaccess 파일을 사용하여 url을 다시 작성 하시겠습니까?
- 13. 지정된 노드에서 xml 파일을 작성 하시겠습니까?
- 14. 여분의 줄이없는 .txt 파일을 작성 하시겠습니까?
- 15. 왜 애셋을 S3에 직접 업로드 하시겠습니까?
- 16. Amazon-S3에 4GB 파일 업로드
- 17. 순차적으로
- 18. 폴링 서비스에서 SSIS를 순차적으로 호출하도록하려면 어떻게합니까?
- 19. 어떻게 코드를 작성 하시겠습니까? SO 메뉴
- 20. 어떻게 시리얼 라이저/디시리얼라이저를 작성 하시겠습니까?
- 21. 어떻게 iPad 응용 프로그램을 작성 하시겠습니까?
- 22. 이 간단한 URL을 어떻게 다시 작성 하시겠습니까?
- 23. ASP.net MVC 파일을 Amazon S3에 업로드하여 진행합니다.
- 24. Qt 4의 Amazon S3에 파일을 업로드하는 방법
- 25. 나는 현재 S3에 파일을 업로드하려면 다음을 활용
- 26. 웹 서비스에서 참조하는 C# 클래스가 올바르게 비 직렬화되지 않음
- 27. 어디에서 예외를 작성 하시겠습니까?
- 28. Ruby 객체를 JSON으로 순차적으로 직렬화하고 다시로드 하시겠습니까?
- 29. 여러 개의 스레드를 만들어 s3에 업로드
- 30. S3에 boto 라이브러리 사용
좀 더 많은 문맥이 유용 할 것이라고 생각합니다. 일부 사람들이 답변을 시작하는 데 도움이 될 수 있습니다. –
http://bhapca.blogspot.com/2010/07/how-to-upload-in-bulk-to-amazon-s3.html – Zabba