2012-09-17 8 views
2

큰 파일을 다운로드 할 때 몇 가지 문제가 있습니다. 나는 1Gb 이상의 파일을 다운로드하고 파싱해야한다. 내가 지금하고있는 일은 curl을 (레일 애플리케이션의)/tmp 폴더로 다운로드하는 것이다.큰 파일 다운로드 (Heroku)

curl 명령은 "curl --retry 999 -o # {destination} # {uri} 2>/dev/null"이고 대상은 Rails.root.join ("tmp", "file.example")

문제는 다운로드를 몇 분 완료하면 파일을 다운로드하는 "컬 (curl)"프로세스가 완료되고 다운로드가 완료된 것입니다. 완료되기 전에 로그에 많은 "메모리 초과"가 표시됩니다. 이것은 내가/tmp 폴더에 저장할 때 다운로드 한 내용을 메모리에 저장하고 메모리가 한계에 도달하면 프로세스가 종료된다고 생각하게했습니다.

여러분 중 누군가가 이미 Heroku에서 비슷한 문제가 발생했는지 알고 싶습니다./tmp 폴더에 저장하면 실제로 이와 같이 작동합니다. 그렇다면 Heroku에서이 기능을 사용할 수있는 제안이 있습니까?

덕분에, Elvio

+0

이와 같은 tmp 폴더는 사용할 수 있지만 큰 파일은 사용할 수 없습니다. 어느 정도의 시간 동안 거기에 머무르는 파일에 의존 할 수도 없습니다. 그것은 Cedar 스택에서 조금 다르지만 여전히 같은 생각입니다. –

답변

-1

당신은 아마 안개 보석을 사용하여 S3와 같은 외부 클라우드 공급자에 파일을 저장하는 것이 더 낫다. 어쨌든, Heroku는 읽기 전용 파일 시스템이므로, 여러분이 말리는 것을 허용하지 않을 것이며, 쓰지 않아도됩니다.

관련 문제