기계 학습을위한 대형 모델 파일을 호스팅하는 AWS

Question

매개 변수를 통해 매개 변수를 평가하는 데 도움이되는 일부 기능을 사용하여 현지에서 교육 한 모델을 폭로하고 싶습니다. 모델은 꽤 큽니다 (10GB). 필자는 필요한 기능을 폭로 할 웹 서비스를 구축 할 것을 고려했습니다. 그러나 필자는 모델을 호스팅해야하는 방법 (매우 큰 텍스트 파일)과 액세스 방법에 대해 잘 모릅니다. 또한 한 걸음 더 나아가서 전체 모델을 EC2 인스턴스 메모리에로드합니까? 그런 작업을 처리하는 가장 좋은 방법으로는 무엇이 고려 될까요?

Answer 1

S3 버킷에 항상 보관하고 R 등으로로드 할 수 있습니다. 그러나 부분적으로 모델을로드하는 방법을 볼 수 없습니다. 나는 당신이 결과를 일반화 할 수있는 모델의 능력을 잃어 버릴 것이라고 말하고 싶다. 나는 당신이 돈을 쓰고 전체를로드 할 수있는 큰 인스턴스를 가져 가야 할까 봐 걱정됩니다. 행운을 빕니다!